Resumen Técnico: Cerrando la Brecha entre el Conocimiento y la Predicción en LLMs en Preguntas de Opción Múltiple

1. Definición del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) exhiben frecuentemente una "brecha de conocimiento-predicción", un fenómeno donde un modelo posee la respuesta correcta dentro de sus representaciones internas ocultas pero falla al generarla como el resultado final. Esta discrepancia es particularmente evidente en entornos de Preguntas de Opción Múltiple (MCQ), donde los modelos pueden seleccionar opciones incorrectas a pesar de codificar linealmente la respuesta correcta en sus flujos residuales (residual streams). Trabajos previos han atribuido tales fallos a pistas superficiales, sesgos de opción o artefactos estilísticos, pero una explicación unificada que conecte estos fallos con la estructura geométrica interna del modelo ha permanecido inexplorada. Específicamente, no está claro si esta brecha es omnipresente en diversos dominios, qué estructura geométrica subyace al desalineamiento entre el conocimiento interno y el comportamiento de salida, y si esta brecha puede mitigarse en el tiempo de inferencia sin reentrenamiento.

2. Metodología

Los autores proponen un marco de análisis e intervención de tres pasos:

A. Cuantificación de la Brecha mediante Sonda Lineal (Linear Probing)

Los autores definen la brecha de conocimiento-predicción como la discrepancia entre el conocimiento codificado en las representaciones internas y las predicciones generadas. Para medir esto, entrenan dos sondas lineales distintas en las activaciones del flujo residual del LLM:

1. Sonda de Conocimiento (Knowledge Probe): Un clasificador lineal de $k$ clases entrenado para predecir la respuesta real ($y$) a partir de los estados ocultos.
2. Sonda de Predicción (Prediction Probe): Un clasificador lineal de $k$ clases entrenado para predecir la propia elección generada por el modelo ($\tilde{y}$).

Evalúan estas sondas a través de diversos modelos (p. ej., Llama 3.1 8B, Qwen 2.5 7B) y evaluaciones (benchmarks) (Razonamiento, Conocimiento, Veracidad, Sesgo). Para cuantificar la brecha, introducen dos métricas:

• Acuerdo de Predicción (AGR): La frecuencia con la que la sonda de conocimiento y la salida del modelo seleccionan la misma opción.
• Divergencia Distribucional (KLD): La divergencia de Kullback-Leibler entre las distribuciones de probabilidad de la sonda de conocimiento y la salida del modelo.

B. Interpretación Geométrica

Los autores interpretan los vectores de peso de las sondas entrenadas como definidores de subespacios de baja dimensión dentro del flujo residual:

• Subespacio de Conocimiento: Generado por los pesos de la sonda de conocimiento.
• Subespacio de Predicción: Generado por los pesos de la sonda de predicción.

Plantean la hipótesis de que una gran brecha de conocimiento-predicción corresponde a un desalineamiento sistemático entre estos dos subespacios. Cuando la brecha es grande, las coordenadas de un estado oculto proyectado en el subespacio de predicción divergen significativamente de sus coordenadas en el subespacio de conocimiento.

C. KAPPA: Intervención en el Tiempo de Inferencia

Para mitigar esta brecha, los autores introducen KAPPA (Knowledge-Aligned Prediction through Projection-based Adjustment). KAPPA es una intervención ligera en el tiempo de inferencia que aplica una transformación afín al flujo residual.

• Mecanismo: Resuelve un problema de optimización restringida para perturbar mínimamente el estado oculto $h$ de tal manera que sus coordenadas en el subespacio de predicción se alineen con sus coordenadas en el subespacio de conocimiento.
• Formulación: La transformación $T$ mapea $h$ a $h'$ resolviendo:
  $$\min_{h'} \|h' - h\|^2_2 \quad \text{sujeto a} \quad W_{pred}^\top h' = W_{know}^\top h$$
  Esto produce una solución de forma cerrada que ajusta el estado oculto únicamente dentro del subespacio de predicción, dejando los componentes ortogonales sin cambios.
• Generalización: El método incluye hiperparámetros $\alpha$ y $\beta$ para controlar la fuerza de la alineación, permitiendo un ajuste flexible de qué tan fuertemente influye el conocimiento interno en la predicción.

3. Contribuciones Clave

1. Evidencia Empírica de una Brecha Generalizada: El estudio establece que la brecha de conocimiento-predicción es omnipresente en diversos benchmarks de MCQ y familias de modelos. La brecha es más pronunciada en tareas de razonamiento, veracidad y sesgo, mientras que es menos evidente en benchmarks intensivos en conocimiento.
2. Explicación Geométrica: El artículo proporciona una interpretación geométrica de la brecha, identificándola como un desalineamiento entre distintos subespacios de conocimiento y de predicción en el flujo residual.
3. Intervención KAPPA: Los autores presentan KAPPA, un método en el tiempo de inferencia que calibra geométricamente los estados ocultos para alinear las predicciones del modelo con el conocimiento interno. A diferencia de los métodos de dirección (steering) previos que aplican correcciones fijas, KAPPA adapta su ajuste basándose en la brecha de conocimiento-predicción específica de cada instancia.

4. Resultados

• Magnitud de la Brecha: Las sondas lineales superan consistentemente la precisión de generación del modelo base en todos los conjuntos de datos probados, confirmando que los modelos codifican conocimiento linealmente accesible que no logran utilizar. La brecha varía significativamente según el dominio, siendo TruthfulQA y BBQ los que muestran las mayores discrepancias (p. ej., $\Delta$ACC de hasta +21.3% para Qwen 2.5 7B).
• Mejora del Rendimiento: KAPPA reduce consistentemente la brecha y mejora la precisión sobre los modelos base y los métodos existentes de tiempo de inferencia (como CAA y DoLA).
  • En TruthfulQA, KAPPA mejoró la precisión de Llama 3.1 8B entre 8.9 y 16.9 puntos.
  • En benchmarks de Razonamiento (GSM8k, BBH), KAPPA logró ganancias consistentes de 1.5 a 5.0 puntos.
  • KAPPA aumentó significativamente la Tasa de Acuerdo (AGR) entre la sonda de conocimiento y la salida del modelo, acercándose a menudo a la precisión de la propia sonda de conocimiento.
• Generalización:
  • Entre Modelos: KAPPA mitiga eficazmente la brecha en modelos de diversos tamaños (de 4B a 14B) y arquitecturas (Mistral, Llama, Qwen).
  • Transferencia entre Datasets: Aunque los subespacios son generalmente específicos de cada conjunto de datos, se observó una transferencia exitosa entre tareas que requieren habilidades subyacentes similares (p. ej., de BBH-NLP a GSM8K).
  • Generación de Texto Libre: La aplicación de KAPPA en entornos de texto libre (sin opciones de MCQ) mejoró la precisión en TruthfulQA, demostrando que la alineación geométrica se extiende más allá de los formatos de opción múltiple.

5. Significado y Reivindicaciones

El artículo sostiene que muchos fallos de los LLM, particularmente las alucinaciones y los errores de razonamiento, no provienen de una falta de conocimiento, sino de un desalineamiento entre lo que el modelo codifica internamente y lo que finalmente predice. Al identificar distintos subespacios de conocimiento y de predicción, los autores proporcionan una explicación geométrica interpretable para estos fallos.

La introducción de KAPPA demuestra que esta brecha puede cerrarse mediante la alineación a nivel de representación sin entrenamiento adicional. Los autores concluyen que la alineación a nivel de representación es una dirección prometedora para lograr predicciones más fieles de los LLMs. Señalan que, si bien su trabajo se centra en el conocimiento accesible linealmente, es necesario realizar trabajos futuros para entender cómo alinear el conocimiento codificado de forma más compleja y no lineal.