Probing for Knowledge Attribution in Large Language Models

Resumen Técnico: Atribución de Conocimiento en LLMs

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes (LLMs) a menudo generan respuestas fluidas pero infundadas, conocidas como "alucinaciones". Estas se clasifican tradicionalmente en:

1. Violaciones de fidelidad: Mal uso del contexto proporcionado por el usuario.
2. Violaciones de facticidad: Errores derivados del conocimiento interno (pesos) del modelo.

El problema central abordado en este trabajo es la falta de visibilidad sobre el origen de una respuesta. Las técnicas actuales de detección (como "LLMs-as-a-judge" o medidas de incertidumbre) a menudo fallan porque los modelos pueden estar "seguros pero equivocados" y porque la "alucinación" carece de una definición operativa consistente.

El artículo introduce el concepto de Atribución Contributiva: identificar si la fuente dominante de conocimiento detrás de una salida es contextual (proveniente del prompt o evidencia recuperada) o paramétrica (almacenada en los pesos internos del modelo). Distinguir esto es crucial, especialmente en sistemas de Generación Aumentada por Recuperación (RAG), donde los errores suelen ocurrir porque el modelo ignora la información recuperada y se basa en su memoria interna, o viceversa.

2. Metodología

Para abordar este problema, los autores proponen un enfoque de dos etapas: la creación de un conjunto de datos auto-supervisado y el entrenamiento de clasificadores de sondeo (probes).

A. Pipeline de Datos Auto-Supervisado: ATTRIWIKI
Los autores presentan ATTRIWIKI, un pipeline automatizado diseñado para generar ejemplos etiquetados sin intervención humana manual, aislando estrictamente las fuentes de conocimiento:

• Fuente de Datos: Se utilizan 20.000 páginas de Wikipedia.
• Selección de Entidades: Se identifican entidades nombradas y se filtran sinónimos o redundancias.
• Prueba de Conocimiento: Antes de generar el par de datos, se evalúa si el modelo objetivo (Llama-3.1-8B, Mistral-7B, Qwen-7B) ya conoce la entidad sin contexto.
  • Si el modelo conoce la entidad: Se elimina la mención de la entidad del texto de contexto, forzando al modelo a recuperar la información de su memoria paramétrica.
  • Si el modelo no conoce la entidad: Se mantiene la entidad en el texto pero se elimina otra para evitar sesgos léxicos, forzando al modelo a usar el contexto.
• Generación de Pares: Se crean prompts emparejados que difieren solo en la presencia de la entidad, asegurando que la única fuente de verdad disponible sea la deseada (contexto o memoria).
• Extracción de Estados Ocultos: Durante la generación, se extraen representaciones ocultas en dos posiciones clave:
  1. FTG (First Token of Generation): El primer token generado.
  2. LTE (Last Token of Entity): El último token de la entidad mencionada.

B. Clasificadores de Sondeo (Probing)
Sobre las representaciones ocultas extraídas, se entrenan clasificadores lineales simples para predecir la fuente de conocimiento:

1. Final-LR: Regresión logística sobre el vector del estado oculto de la última capa.
2. Layer-LR: Regresión logística que aprende pesos para agregar estados ocultos de múltiples capas (mediante un softmax), permitiendo identificar en qué profundidad la señal es más fuerte.
3. Layer-MLP: Una extensión con una pequeña red neuronal (MLP) sobre la representación agregada.

3. Contribuciones Clave

1. ATTRIWIKI: Un nuevo dataset auto-supervisado que aísla limpiamente el uso de conocimiento paramétrico vs. contextual, resolviendo la confusión de fuentes presente en datasets anteriores.
2. Descodificabilidad Lineal: Demostración de que la atribución de conocimiento es una propiedad representacional que puede ser descodificada linealmente a partir de los estados ocultos de los LLMs, especialmente en las capas medias y superiores.
3. Generalización Fuerte: Los clasificadores entrenados en ATTRIWIKI se transfieren a dominios externos (SQuAD, WebQuestions) sin necesidad de reentrenamiento, manteniendo un alto rendimiento.
4. Análisis de Desajuste: Evidencia empírica de que los errores de atribución (cuando el modelo usa la fuente incorrecta) están directamente correlacionados con un aumento drástico en las tasas de error.

4. Resultados Experimentales

• Rendimiento de Atribución:

  • Los clasificadores alcanzaron un Macro-F1 de hasta 0.96 en el conjunto de prueba de ATTRIWIKI para modelos como Llama-3.1-8B, Mistral-7B y Qwen-7B.
  • El uso de la agregación de capas (Layer-LR) mejoró el rendimiento en 7-11 puntos porcentuales frente a usar solo la última capa.
  • La posición LTE (último token de la entidad) funcionó ligeramente mejor que FTG.

• Generalización Fuera de Dominio (Out-of-Domain):

  • Los modelos entrenados en ATTRIWIKI lograron una precisión de 0.94 a 0.99 en benchmarks externos (SQuAD para contexto, WebQuestions para memoria paramétrica) sin ajuste fino.

• Análisis de Capas:

  • Los pesos del clasificador se concentran en las capas medias-altas (ej. capas 16-21 en modelos de 32 capas), lo que sugiere que la separación entre señales contextuales y paramétricas se vuelve más linealmente accesible a medida que la información fluye a través de la red.

• Impacto en la Facticidad:

  • Se encontró una correlación fuerte entre el desajuste de atribución y los errores de respuesta.
  • Cuando un modelo confía en un contexto engañoso en lugar de su conocimiento paramétrico (cuando este es necesario), la tasa de error aumenta hasta un 70%.
  • Sin embargo, una atribución correcta no garantiza una respuesta factualmente correcta, indicando que la atribución es un indicador de diagnóstico, pero no una solución completa a las alucinaciones.

5. Significado e Implicaciones

Este trabajo cambia el paradigma de la detección de alucinaciones: en lugar de preguntar "¿Es esta respuesta verdadera?", pregunta "¿De dónde sacó el modelo esta respuesta?".

• Diagnóstico en Tiempo Real: Los probes de atribución pueden integrarse en sistemas de producción (como RAG) para detectar en tiempo real si un modelo está ignorando evidencia recuperada o si está alucinando sobre un contexto irrelevante.
• Interpretabilidad: Confirma que las señales de procedencia existen en los estados internos de los modelos y son accesibles mediante métodos lineales simples, sin necesidad de arquitecturas complejas o modificaciones estructurales.
• Limitaciones: El enfoque depende de la existencia de entidades claras (dificultad en textos más naturales sin entidades definidas) y requiere un clasificador específico para cada arquitectura de modelo. Además, el sesgo léxico introducido por el pipeline de datos es un factor a considerar, aunque los resultados sugieren que la señal de atribución es robusta más allá de estos sesgos.

En conclusión, el artículo establece que la atribución de conocimiento es una señal diagnóstica robusta y medible que puede mejorar significativamente la fiabilidad y la transparencia de los LLMs en aplicaciones críticas.