Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation

Resumen Técnico: Prompting de Derivación para Generación Aumentada por Recuperación

Enunciado del Problema
Aunque los Modelos de Lenguaje Grandes (LLM) han avanzado en la Respuesta a Preguntas (QA), siguen siendo propensos a alucinaciones y razonamientos erróneos, particularmente en tareas intensivas en conocimiento y específicas de un dominio. El marco de Generación Aumentada por Recuperación (RAG) intenta mitigar esto fundamentando la generación del modelo en documentos recuperados. Sin embargo, las técnicas existentes de mejora del razonamiento, como la Cadena de Pensamiento (CoT) y el Árbol de Pensamientos (ToT), carecen de restricciones explícitas sobre cómo se construyen los pasos intermedios de razonamiento. Esta ausencia de una metodología sistemática permite que los modelos generen caminos de razonamiento no controlados, lo que conduce a lógica defectuosa y alucinaciones incluso cuando se proporciona contexto.

Metodología: Prompting de Derivación
Los autores proponen el Prompting de Derivación, una técnica novedosa para la etapa de generación del marco RAG, inspirada en las derivaciones lógicas de la lógica proposicional. En lugar de generar una respuesta de forma libre, el método construye un "árbol de derivación" estructurado donde una conclusión se infiere sistemáticamente a partir de un conjunto de hipótesis iniciales (fragmentos de documentos recuperados) utilizando reglas predefinidas.

• Mecanismo Central: El proceso trata los fragmentos recuperados como un conjunto de hipótesis $\{h_1, \dots, h_n\}$. Se le asigna al LLM la tarea de aplicar un conjunto de reglas en lenguaje natural para transformar o combinar estas hipótesis y derivar una conclusión $c$ que responda a la consulta $q$.
• Conjunto de Reglas: El método utiliza un conjunto específico de reglas definidas en lenguaje natural, que incluye:
  • Extraer: Aislar una parte específica de una hipótesis.
  • Concatenar: Combinar hipótesis independientes.
  • Instanciar: Generalizar una hipótesis a un caso particular.
  • Componer: Fusionar hipótesis que comparten un elemento común.
  • Refinar: Adaptar una hipótesis para ajustarse a la consulta sin alterar su semántica.
  • NoInfo: Declarar explícitamente cuando las hipótesis carecen de la información necesaria.
• Ejecución Algorítmica: El proceso es iterativo. El LLM decide qué regla aplicar, selecciona las hipótesis relevantes y genera una nueva conclusión. Si la conclusión no es la respuesta final, se agrega a la lista de hipótesis para los pasos subsiguientes.
• Estrategias de Implementación: Los autores evaluaron dos enfoques de implementación:
  1. Prompt de un solo paso: Aislar cada aplicación de regla como una llamada independiente al LLM.
  2. Prompt de derivación completa: Utilizar una estrategia de Few-Shot para guiar al LLM en la construcción de todo el árbol de derivación en una sola llamada de inferencia.
     El estudio encontró que el prompt de derivación completa es significativamente más eficiente en términos computacionales (reemplazando $n$ inferencias por una) mientras produce resultados comparables.

Estudio de Caso y Evaluación
El método fue evaluado en un dominio específico: información administrativa de la Facultad de Ingeniería de la Universidad de la República (Uruguay).

• Conjunto de Datos: 135 consultas reales de usuarios derivadas de correos electrónicos históricos, procesadas para eliminar datos personales.
• Líneas Base: El estudio comparó el Prompting de Derivación contra:
  • RAG estándar (utilizando Cross-Encoder para la recuperación).
  • Enfoques de ventana de contexto largo (alimentando documentos completos directamente al modelo).
• Modelos: Los experimentos utilizaron la familia Claude 3 de Anthropic (Haiku y Opus).
• Métrica de Evaluación: Una evaluación automatizada utilizando Claude Opus como juez, puntuando las respuestas en una escala de 1 a 5 basada en una rúbrica que distingue entre "inaceptable" (contradictorio/falso, puntuaciones 1–2) y "aceptable" (no contradictorio, puntuaciones 3–5).

Resultados
Los experimentos demostraron que el Prompting de Derivación mejora significativamente la precisión de los sistemas RAG:

• Reducción de Respuestas Inaceptables: El Prompting de Derivación con Claude Opus logró un 89.6% de respuestas aceptables, en comparación con el 77.8% del RAG estándar y el 76.3% de los métodos de Contexto Largo. Esto representa una reducción sustancial en alucinaciones e información contradictoria.
• Precisión vs. Recall: Si bien el método redujo drásticamente los errores (puntuaciones 1 y 2), no necesariamente aumentó el número de respuestas altamente detalladas (puntuaciones 4 y 5). En muchos casos donde otros métodos fallaron con alucinaciones, el Prompting de Derivación identificó correctamente una falta de información (puntuación 3) mediante la regla NoInfo.
• Dependencia del Modelo: La efectividad del método está correlacionada con la capacidad del modelo. Mientras que Claude Opus funcionó de manera robusta, el modelo más pequeño Claude Haiku mostró una disminución en respuestas de alta calidad (puntuaciones 4 y 5) a pesar de reducir errores, lo que sugiere que construir derivaciones válidas requiere una capacidad de modelo significativa.
• Interpretabilidad: Un hallazgo clave es que el árbol de derivación es interpretable. Cuando ocurren errores, estos pueden rastrearse hasta aplicaciones específicas de reglas (por ejemplo, una alucinación durante un paso de Refinar), lo que permite a los usuarios identificar el razonamiento defectuoso en lugar de simplemente recibir una respuesta incorrecta.

Significado y Afirmaciones
El artículo afirma que el Prompting de Derivación ofrece una alternativa controlada e interpretable a las técnicas de razonamiento existentes. Al forzar el proceso de generación a través de una secuencia de reglas lógicas predefinidas, el método restringe la libertad del modelo para alucinar, asegurando que las respuestas permanezcan fundamentadas en los documentos recuperados. Los autores enfatizan que, si bien el método mejora la precisión y reduce las salidas inaceptables, su éxito depende de la capacidad del LLM subyacente para comprender y aplicar la lógica basada en reglas de manera efectiva. El trabajo sugiere que este enfoque basado en la lógica puede generalizarse a otros escenarios RAG y potencialmente a tareas no RAG, siempre que se definan conjuntos de reglas apropiados.