How Language Models Conflate Logical Validity with Plausibility: A Representational Analysis of Content Effects

Resumen Técnico: Confusión entre Validez Lógica y Plausibilidad en Modelos de Lenguaje

1. El Problema: Efectos de Contenido en el Razonamiento

Tanto los humanos como los Grandes Modelos de Lenguaje (LLMs) sufren de efectos de contenido: un sesgo cognitivo donde la plausibilidad semántica de una afirmación influye indebidamente en el juicio sobre su validez lógica.

• Definición: La validez es una propiedad estructural (si la conclusión sigue necesariamente de las premisas), mientras que la plausibilidad se refiere a la verdad factual en el mundo real.
• El Fenómeno: Los modelos tienden a clasificar como "válidos" argumentos con conclusiones plausibles (aunque lógicamente incorrectos) y como "inválidos" argumentos con conclusiones implausibles (aunque lógicamente correctos).
• Brecha de Conocimiento: Mientras que en humanos esto se explica por la teoría del proceso dual (Sistema 1 vs. Sistema 2), los mecanismos internos que causan este sesgo en los LLMs permanecían desconocidos hasta este trabajo.

2. Metodología y Enfoque

Los autores adoptan un enfoque de interpretabilidad representacional, basándose en la hipótesis de representación lineal, que postula que conceptos de alto nivel se codifican linealmente en el espacio latente de los LLMs.

• Datos y Tareas:

  • Se construyó un dataset de 1,280 silogismos cubriendo las 64 combinaciones posibles de lógica silogística.
  • Se definieron cuatro categorías cruzando Validez (Válido/Inválido) y Plausibilidad (Plausible/Implausible).
  • Se evaluaron modelos de las familias Qwen-2.5, Qwen-3 y Gemma-3 (rango de 4B a 32B parámetros) utilizando dos modos de inferencia: Zero-shot (sin razonamiento explícito) y Chain-of-Thought (CoT, con razonamiento paso a paso).

• Técnicas de Análisis:

  1. Vectores de Dirección (Difference-in-Means): Se calcularon vectores que representan la dirección de conceptos binarios (ej. $\vec{v}_{validez} = \mu_{válido} - \mu_{inválido}$) en las activaciones de las capas del modelo.
  2. Steering (Dirigido): Se añadieron o restaron estos vectores a las activaciones internas para observar cambios causales en el comportamiento del modelo.
  3. Métricas:
     • Efecto de Contenido (CE): Una métrica cuantitativa que mide cuánto la plausibilidad sesga la clasificación de validez.
     • Poder de Dirección (Steering Power - SP): La capacidad de un vector para cambiar la predicción del modelo.
     • Similitud Cosínica: Para medir la alineación geométrica entre los vectores de validez y plausibilidad.

3. Contribuciones Clave y Hallazgos

A. Existencia y Magnitud de los Efectos de Contenido

• Los modelos exhiben sesgos significativos en modo zero-shot (ej. Qwen2.5-32B tiene un CE de 0.348).
• El uso de Chain-of-Thought (CoT) reduce drásticamente este sesgo (CE cae a ~0.096 o menos), indicando que el razonamiento explícito ayuda a separar la estructura lógica del contenido semántico.

B. Representación Lineal y Entrelazamiento Geométrico

• Codificación Lineal: Tanto la validez como la plausibilidad están codificadas linealmente en las capas tardías del modelo.
• Alineación Crítica: Los vectores de validez y plausibilidad están altamente alineados en el espacio geométrico (similitud cosínica entre 0.48 y 0.64). En contraste, conceptos de control (como "harmless/harmful" o "hiperónimo/hipónimo") muestran baja o nula correlación con la validez.
• Predicción del Sesgo: Existe una correlación positiva significativa: a mayor alineación geométrica entre los vectores de validez y plausibilidad en un modelo, mayor es el efecto de contenido observado en su comportamiento.

C. Interacción Causal Cruzada

• Mediante steering, se demostró que es posible causar el sesgo:
  • Añadir el vector de "plausibilidad" a la tarea de "validez" hace que el modelo juzgue argumentos inválidos como válidos si son plausibles.
  • Añadir el vector de "validez" a la tarea de "plausibilidad" altera la percepción de verdad factual.
• Esto confirma que el modelo no trata estos conceptos como dimensiones independientes, sino que están "entrelazados".

D. Intervención de Desviación (Debiasing)

• Los autores diseñaron un vector de diferencia de tareas ($\vec{\mu}_{V-P} = \vec{\mu}_{V} - \vec{\mu}_{P}$) que captura las dimensiones específicas de la validez lógica, excluyendo la plausibilidad.
• Resultado: Al inyectar este vector en las capas intermedias (escalado con un factor $\alpha=1.5$), se logró:
  • Reducir el efecto de contenido a niveles cercanos a cero (CE $\approx$ 0).
  • Mejorar la precisión general en la clasificación de validez (ej. Qwen3-14B pasó de 86.54% a 96.70% de precisión).
• Esta intervención funciona sin necesidad de reentrenar el modelo (fine-tuning), actuando directamente sobre las representaciones internas.

4. Significado e Implicaciones

• Avance Teórico: El trabajo proporciona la primera explicación mecanicista de los efectos de contenido en LLMs, atribuyéndolos a una entrelazamiento geométrico en las representaciones internas, en lugar de a una falta de capacidad de razonamiento per se.
• Diagnóstico y Mitigación: Demuestra que el análisis representacional no solo sirve para entender el "por qué" de los errores, sino para diseñar intervenciones efectivas. La separación de conceptos entrelazados mediante vectores de steering es una vía prometedora para crear sistemas de razonamiento más robustos.
• Limitaciones y Futuro: Los autores sugieren que la causa raíz de este entrelazamiento podría ser estadística: en los datos de entrenamiento, los argumentos válidos suelen tener premisas verdaderas (son sólidos), por lo que el modelo nunca aprende a separar estrictamente la forma de la verdad factual. Futuras investigaciones podrían explorar cómo la estructura de los datos de entrenamiento moldea estas geometrías.

En conclusión, el paper establece que los LLMs confunden validez y plausibilidad porque sus representaciones internas de ambos conceptos son geométricamente casi idénticas, y que es posible corregir este sesgo manipulando directamente estas representaciones.