Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

Resumen Técnico: El conocimiento paramétrico no es todo lo que se necesita

Definición del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) sufren frecuentemente de "alucinaciones", generando respuestas fácticamente incorrectas porque carecen de conciencia sobre sus propios límites de conocimiento. Los métodos actuales para mejorar la "honestidad" de los LLMs —definida como la capacidad de rechazar responder preguntas fuera del propio conocimiento (autoconocimiento) y de responder correctamente cuando el conocimiento existe (autoexpresión)— enfrentan desafíos de evaluación significativos. Los benchmarks existentes suelen tratar a los LLMs como cajas negras, estimando los límites del conocimiento de forma indirecta. Esto conduce a evaluaciones defectuosas donde el fallo de un modelo al responder se atribuye a una falta de conocimiento (un problema de autoconocimiento) cuando en realidad puede ser una inconsistencia en la expresión (un problema de autoexpresión). Además, sin acceso a los datos de entrenamiento específicos, es imposible determinar de manera definitiva si un modelo debería saber una respuesta, lo que dificulta la creación de un benchmarking robusto.

Metodología
Los autores proponen un enfoque de dos vertientes: un nuevo benchmark de evaluación y un nuevo método de inferencia llamado RETAIN (Inferencia con Conciencia del Entrenamiento Mejorada por Recuperación).

1. Construcción del Benchmark (TIP-TRIVIAQA):

   • Aprovechando Pythia, un LLM verdaderamente abierto con datos de preentrenamiento públicamente disponibles, los autores construyen un benchmark donde la "verdad fundamental" del conocimiento es conocida.
   • Utilizan un proceso de búsqueda de dos etapas para determinar si una pregunta es "respondible" (la respuesta existe en el corpus de preentrenamiento) o "no respondible" (no existe):
     • Búsqueda Basada en Tokens: Recupera documentos que contienen palabras clave específicas de la pregunta y la respuesta de oro mediante un LLM que juzga la relevancia.
     • Búsqueda Basada en Vectores: Para preguntas no resueltas por la búsqueda de tokens, se utiliza la similitud semántica para recuperar documentos, seguido de un juicio de relevancia.
   • Esto crea un conjunto de datos (TIP-TRIVIAQA) donde las preguntas están explícitamente categorizadas según la exposición real del modelo a la información durante su preentrenamiento.

2. El Método RETAIN:

   • RETAIN es un marco de trabajo agéntico que comprende tres componentes:
     • Recuperador (Retriever): Codifica la pregunta de entrada y recupera los $k$ documentos superiores del propio corpus de preentrenamiento del modelo mediante recuperación densa.
     • Clasificador de Respondibilidad (Answerability Classifier): Un modelo ajustado que determina si los documentos recuperados contienen información suficiente para responder la pregunta. Si no se encuentra un documento relevante, el sistema activa un rechazo ("No lo sé").
     • Respondedor (Responder): Un modelo ajustado que genera la respuesta de oro utilizando el documento recuperado como contexto, pero solo si el clasificador considera que la pregunta es respondible.

Contribuciones Clave

1. Un Benchmark Robusto: El artículo introduce el primer benchmark para la honestidad de los LLM que contabiliza explícitamente el límite de conocimiento del modelo al identificar documentos relevantes dentro de sus datos de preentrenamiento, yendo más allá de la evaluación de caja negra.
2. Un Nuevo Método de Inferencia: Los autores proponen RETAIN, que aprovecha la recuperación sobre el propio corpus de preentrenamiento del modelo durante la inferencia. Esto permite al modelo distinguir entre preguntas que ha visto (y puede responder) y aquellas que no ha visto (y debería rechazar).
3. Validación Empírica: El estudio demuestra que el simple hecho de aumentar los prompts con documentos de los datos de preentrenamiento mejora tanto la precisión de las respuestas como la capacidad del modelo para reconocer sus limitaciones.

Resultados
Los experimentos realizados en el benchmark TIP-TRIVIAQA utilizando Pythia-12b-deduped muestran que RETAIN supera significativamente a las líneas base existentes (incluyendo SFT, Best-of-N, DPO y R-Tuning).

• Rendimiento: RETAIN logra una puntuación ExactMatch-F1 de 58.57 y una PartialMatch-F1 de 62.23, sustancialmente más alta que la siguiente mejor línea base (R-Tuning con 44.16 PM-F1).
• Generalización: En el dataset HoneSet (que contiene preguntas que los humanos no pueden responder), RETAIN logra una tasa de rechazo del 87.63%, superando significativamente a todas las líneas base, lo que indica que el método se generaliza más allá del benchmark específico.
• Ablación: Los resultados confirman que la combinación de recuperación, clasificación de respondibilidad y un respondedor entrenado es necesaria para un rendimiento óptimo; eliminar cualquier componente degrada la puntuación F1.

Significancia
El artículo afirma ser el primero en aprovechar los datos de preentrenamiento para construir un benchmark de honestidad de LLM y realizar la recuperación sobre el propio corpus de preentrenamiento de un modelo para la respuesta de preguntas. Los autores argumentan que el conocimiento paramétrico por sí solo es insuficiente para la honestidad; en su lugar, los modelos requieren un mecanismo para acceder y verificar sus datos de entrenamiento para percibir con precisión sus límites de conocimiento. Al utilizar la transparencia de modelos abiertos como Pythia, este trabajo proporciona una vía hacia asistentes de IA más fiables, interpretables y honestos que pueden reconocer explícitamente cuándo no saben una respuesta, reduciendo así las alucinaciones en dominios críticos.