"I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation

Resumen Técnico: "No lo sé" – Hacia una Confianza Apropiada con Generación Aumentada por Recuperación Consciente de la Certeza

Planteamiento del Problema
El artículo aborda el desafío de establecer una "confianza apropiada" en los sistemas de Inteligencia Artificial, específicamente en los Modelos de Lenguaje Grande (LLM). Aunque los LLM ofrecen comunicación a nivel humano, sufren de alucinaciones (salidas factualmente incorrectas) y "sycophancia" (alinearse en exceso con las preferencias del usuario a expensas de la precisión). Un problema crítico es que los LLM a menudo expresan una sobreconfianza en sus respuestas, incluso cuando la pregunta no es objetiva o el contexto es insuficiente. Esta sobreconfianza impide que los usuarios juzguen con precisión la veracidad del sistema. Los autores argumentan que el valor humano de la benevolencia—definido aquí como la necesidad de honestidad, fiabilidad y dependencia—puede satisfacerse si un sistema de IA puede monitorear su propio conocimiento, reflexionar sobre su incertidumbre y comunicar esta autorreflexión al usuario.

Metodología
Los autores proponen CERTA (Respuestas Confiadas Mejoradas por RAG con Certeza), un sistema especializado de Generación Aumentada por Recuperación (RAG) diseñado para incorporar la certeza autorreflexiva en sus respuestas.

1. Modelado de Certeza del Tándem RAG:
   En lugar de depender del LLM para autoevaluar su confianza (lo cual puede estar sesgado), CERTA calcula la incertidumbre basándose en la similitud semántica entre tres componentes del pipeline RAG, conocidos como el Tándem RAG:

   • Relevancia Pregunta-Contexto (QCR): Mide si el contexto recuperado está semánticamente alineado con la pregunta del usuario.
   • Relevancia Contexto-Respuesta (CAR): Mide si la respuesta generada está respaldada por el contexto recuperado (fundamentación).
   • Relevancia Respuesta-Pregunta (AQR): Mide si la respuesta generada aborda semánticamente la pregunta original.

   Estas puntuaciones se calculan utilizando la similitud del coseno sobre incrustaciones (OpenAI's text-embedding-3-small). Estas puntuaciones numéricas se traducen luego en "instrucciones de certeza" textuales proporcionadas al generador LLM.

2. Enfoques del Sistema:
   El artículo evalúa cuatro enfoques distintos utilizando dos LLM (GPT-4.1 de OpenAI y Mistral-Small-3.1):

   • RAG (Línea Base): RAG estándar sin instrucciones específicas sobre la certeza.
   • CERTA-0: Añade una instrucción general al prompt para ser honesto sobre la certeza de la respuesta.
   • CERTA-1: Incorpora la puntuación QCR y la instrucción al prompt, informando al modelo sobre la relevancia entre la pregunta y el contexto recuperado.
   • CERTA-2: Un enfoque de múltiples pasos. Primero genera una respuesta intermedia, calcula las tres puntuaciones del Tándem (QCR, CAR, AQR) y luego solicita al modelo nuevamente la pregunta, el contexto, la respuesta intermedia y las tres instrucciones de certeza para producir una respuesta final autorreflexiva.

3. Benchmarks de Certeza:
   Para evaluar estos métodos, los autores crearon un conjunto de datos de 90 pares pregunta-contexto derivados del Benchmark TrustLLM. El conjunto de datos abarca cuatro categorías:

   • Factualidad: Preguntas factuales (algunas sin respuesta).
   • Preferencia Personal: Preguntas subjetivas (ej. "¿Qué es mejor?").
   • Sycophancia: Preguntas diseñadas para probar si el modelo está de acuerdo con un punto de vista declarado por el usuario (potencialmente defectuoso).
   • Elecciones Morales: Dilemas éticos.

   Cada pregunta se empareja con tres tipos de contextos: relevante (contiene la respuesta), incompleto (carece de la respuesta específica) e irrelevante (no contiene la respuesta).

Contribuciones Clave

1. El Sistema CERTA: Una extensión novedosa de RAG que utiliza el Tándem RAG para calcular y comunicar la incertidumbre tanto numérica como verbalmente. Incluye un panel de control que permite a los usuarios seleccionar comportamientos para escenarios de baja certeza (ej. respuesta predeterminada, "No lo sé", o recurrir al conocimiento del LLM).
2. El Benchmark de Certeza: Un conjunto de datos curado de 90 pares pregunta-contexto no objetivos en cuatro categorías basadas en valores y tres tipos de contexto, diseñado específicamente para probar la capacidad de una IA para expresar la incertidumbre de manera apropiada.
3. Evaluación Empírica: Un estudio comparativo del RAG de línea base frente a tres configuraciones de CERTA utilizando dos LLM distintos.

Resultados
Los experimentos indican que CERTA desplaza exitosamente el comportamiento del sistema hacia una incertidumbre apropiada:

• Frecuencia de "No lo sé": CERTA-1 y CERTA-2 produjeron significativamente más respuestas de "No lo sé" en comparación con el RAG de línea base, particularmente cuando los contextos eran incompletos o irrelevantes.
• Factualidad: Con contextos relevantes, los sistemas respondieron apropiadamente. Con contextos irrelevantes, el RAG de línea base ocasionalmente alucinó utilizando conocimiento interno, mientras que los sistemas CERTA permanecieron estrictamente objetivos y expresaron incertidumbre.
• Preferencia Personal: El RAG de línea base ocasionalmente proporcionó respuestas confiables a preguntas subjetivas. Los enfoques CERTA identificaron correctamente la falta de respuestas objetivas y optaron por "No lo sé".
• Sycophancia y Moralidad: Mientras que tanto el RAG de línea base como CERTA evitaron contradicciones directas, los sistemas CERTA fueron menos propensos a estar de acuerdo o en desacuerdo con puntos de vista opuestos, optando en su lugar por "No lo sé" con mayor frecuencia. CERTA también demostró más cautela en los juicios morales, evitando el moralismo estricto cuando el contexto era incompleto.
• Diferencias entre Modelos: El modelo de código abierto Mistral exhibió más incertidumbre inherente que GPT-4.1, pero CERTA mejoró a ambos.
• Consistencia: La adición de instrucciones de certeza no hizo que los sistemas cambiaran respuestas correctas por incorrectas; principalmente aumentó la tasa de respuestas cautelosas donde era apropiado.

Significado y Afirmaciones
El artículo afirma que comunicar la certeza autorreflexiva es un mecanismo viable para construir una confianza apropiada en la IA, alineándose con el valor humano de la benevolencia. Los autores concluyen que:

• CERTA-0 a menudo es suficiente para mejorar el RAG de línea base introduciendo honestidad básica respecto a la certeza.
• CERTA-1 proporciona un enfoque más cuidadoso al utilizar explícitamente la puntuación de Relevancia Pregunta-Contexto.
• El método permite que los sistemas sean "aversos al riesgo" en escenarios de alto riesgo al admitir la incertidumbre en lugar de alucinar.
• El enfoque es agnóstico al recuperador, evaluando solo la calidad del contexto proporcionado y no el mecanismo de recuperación en sí mismo.

Los autores permanecen modestos respecto a sus afirmaciones, señalando que el panel de control aún no ha sido validado con usuarios humanos para medir la calibración real de la confianza. Reconocen limitaciones, como el uso de formatos de opción múltiple que pueden mitigar la sycophancia artificialmente, y la dependencia de la similitud del coseno, que tiende a producir puntuaciones de rango medio (alrededor de 0.5) en lugar de valores extremos. Se sugiere trabajo futuro para incluir estudios con usuarios y pruebas con fuentes de datos más ruidosas.