Testing the Limits of Truth Directions in LLMs

Resumen Técnico: Probando los Límites de las Direcciones de Verdad en LLMs

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) han demostrado codificar la "verdad" de las afirmaciones en su espacio de activación a lo largo de una dirección lineal de verdad. Estudios previos sugirieron que estas direcciones son universales y generalizables. Sin embargo, la investigación actual carece de una comprensión completa sobre cómo factores como la profundidad de la red (capas), el tipo de tarea, la dificultad y las instrucciones del prompt afectan a estas direcciones.

El problema central que aborda este trabajo es: ¿Son realmente universales las direcciones de verdad en los LLMs, o existen límites específicos relacionados con la arquitectura del modelo, la complejidad de la tarea y la forma en que se presenta la consulta (prompting)? Los autores cuestionan si las conclusiones anteriores sobre la universalidad se mantienen cuando se controlan sistemáticamente estas variables.

2. Metodología

Los autores diseñaron un estudio sistemático que varía tres dimensiones clave para probar la robustez y generalización de las direcciones de verdad:

• Conjuntos de Datos y Jerarquía de Tareas:
  • Tareas Factual (F0–F5): Basadas en conocimiento paramétrico (ubicación de ciudades). La dificultad aumenta mediante:
    • F0: Hecho simple.
    • F1: Hecho negado.
    • F2: Conjunción de dos hechos.
    • F3–F5: Tareas que requieren conteo sobre listas de ciudades (de 2 a 6 ciudades), introduciendo la necesidad de mantener resultados intermedios.
  • Tareas Aritméticas (A1–A3): Ecuaciones con 1, 2 o 3 operaciones aritméticas, requiriendo cálculo paso a paso.
• Modelos: Se probaron modelos de dos familias (Llama y Gemma) de diferentes tamaños (desde 2B hasta 9B parámetros), centrándose principalmente en Llama-3.1-8B-Instruct (32 capas).
• Probing (Sondeo): Se entrenaron clasificadores lineales (probes) sin sesgo sobre las activaciones de la capa residual en la posición del último token. Se evaluó el rendimiento mediante AUROC.
• Instrucciones del Prompt (Templating): Se compararon dos plantillas principales:
  • Passive (no-prompt): Solo la afirmación (ej. "París está en Francia").
  • Explicit Evaluation (ask-correct): Instrucción explícita de evaluar la corrección (ej. "¿Es correcto lo siguiente? París está en Francia. Respuesta:").
• Evaluación:
  • In-domain: Rendimiento en la misma tarea de entrenamiento.
  • Cross-task: Generalización de un probe entrenado en una tarea a otras.
  • Geométrica: Similitud coseno entre direcciones de verdad en diferentes capas y condiciones.

3. Contribuciones Clave y Hallazgos Principales

A. Dependencia de la Capa (Layer Dependence)

• Las direcciones de verdad no son óptimas en una sola capa universal.
• Tareas Fáciles (F0–F3): La verdad emerge temprano (capas iniciales/medias) y alcanza un rendimiento casi perfecto.
• Tareas Complejas (Aritméticas A1–A3 y Factual F4–F5): La dirección de verdad emerge mucho más tarde (capas medias-tardías).
• Fenómeno de Transición: En las primeras capas, los probes capturan principalmente la polaridad de la oración (afirmativo vs. negativo) en lugar de la verdad semántica. La dirección de verdad "verdadera" (invariante a la polaridad) solo se desentrelaza de la polaridad en las capas medias. Esto explica por qué los probes entrenados en afirmaciones simples fallan al generalizar a negaciones en capas tempranas.

B. Impacto de las Instrucciones del Modelo

• La geometría de la verdad cambia drásticamente según el prompt.
• Las direcciones aprendidas con prompts pasivos y con prompts de evaluación explícita tienen una baja similitud coseno (no son alineadas geométricamente).
• Mejora de Generalización: Paradójicamente, aunque las geometrías son diferentes, el uso de instrucciones explícitas ("ask-correct") mejora significativamente la generalización cruzada (especialmente de tareas aritméticas a factuales), alineando mejor las direcciones de verdad entre diferentes tipos de tareas en comparación con el modo pasivo.

C. El Límite de la Complejidad Computacional (El "Muro" del Conteo)

• Este es el hallazgo más crítico: La capacidad de generalización de los probes de verdad decae abruptamente cuando la tarea requiere rastrear resultados intermedios.
• Frontera de Dificultad:
  • Las tareas que requieren contar sobre listas de 2 elementos (o menos) mantienen una buena generalización.
  • En cuanto se requiere contar sobre listas de 3 o más elementos (o realizar múltiples operaciones aritméticas), la generalización cae al azar (AUROC ≈ 0.5).
• Esto sugiere que las direcciones de verdad lineales son robustas para la recuperación de hechos, pero se rompen cuando la evaluación de la verdad depende de cálculos computacionales o almacenamiento temporal de estados intermedios.

D. Geometría de la Activación

• En tareas difíciles (A2, A3, F4, F5), las activaciones de afirmaciones verdaderas y falsas se vuelven altamente entrelazadas en el espacio de alta dimensión, haciendo imposible una separación lineal clara, incluso en las capas donde la tarea se resuelve correctamente.

4. Significado e Implicaciones

1. Refutación de la Universalidad Absoluta: Las afirmaciones sobre la "universalidad" de las direcciones de verdad en LLMs son más limitadas de lo que se pensaba. No existe una única dirección de verdad válida para todas las capas, tipos de tareas o niveles de dificultad.
2. Importancia del Contexto de Inferencia: La forma en que se formula una pregunta (instrucciones explícitas vs. pasivas) altera fundamentalmente la representación interna de la verdad en el modelo. Esto es crucial para aplicaciones de detección de alucinaciones o verificación de hechos, donde el formato del prompt puede determinar si el modelo "sabe" que está mintiendo.
3. Límites Computacionales de la Verdad: La capacidad de un LLM para representar la verdad de manera lineal está limitada por su capacidad de procesamiento secuencial. Cuando la verdad requiere "pensar" (cálculo, conteo, razonamiento multi-paso) en lugar de "recordar", la representación lineal se degrada.
4. Recomendaciones para Futuras Investigaciones:
   • No se debe asumir que una sola capa es suficiente para analizar la verdad; se debe explorar todo el espectro de capas.
   • Las evaluaciones de verdad deben considerar la complejidad de la tarea y el tipo de prompt.
   • La detección de mentiras basada en probes lineales es fiable solo para tareas de recuperación de hechos simples, pero no para tareas de razonamiento complejo.

En conclusión, el trabajo demuestra que la "verdad" en los LLMs no es una propiedad estática y universal, sino una representación dinámica que depende intrínsecamente de la profundidad de la red, la complejidad computacional de la tarea y el contexto lingüístico proporcionado al modelo.