Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility

Título: ¿Es esto solo fantasía? Las representaciones de los modelos de lenguaje reflejan juicios humanos sobre la plausibilidad de los eventos

1. Problema

Los Modelos de Lenguaje (LMs) se utilizan para tareas que van desde responder preguntas fácticas hasta escribir historias fantásticas. Para realizar estas tareas de manera fiable, los LMs deben poder discernir la categoría modal de una oración: es decir, determinar si describe algo posible, imposible, o completamente sin sentido (inconcebible).

Sin embargo, investigaciones recientes han cuestionado la capacidad de los LMs para categorizar oraciones según su modalidad, argumentando que sus estimaciones de probabilidad (basadas en la superficie del texto) son indicadores pobres y que los modelos podrían no tener representaciones internas coherentes de estas categorías. La pregunta central es: ¿Los LMs poseen representaciones internas lineales que capturen las diferencias entre categorías modales, o solo reflejan estas distinciones de manera implícita y poco fiable a través de la probabilidad de los tokens?

2. Metodología

Los autores emplean técnicas de interpretabilidad mecánica para investigar las representaciones internas de los LMs. El enfoque se divide en cuatro estudios principales:

• Identificación de Vectores de Diferencia Modal (Modal Difference Vectors):

  • Utilizan la técnica de Adición de Activación Contrastiva (CAA) para crear representaciones lineales que distinguen entre pares de categorías modales (Probable, Improbable, Imposible, Inconcebible).
  • Se calculan restando las representaciones de activación oculta (en capas específicas) de pares de oraciones mínimas (ej. "refrescar una bebida con hielo" vs. "refrescar una bebida con fuego").
  • Se evalúa la capacidad de estos vectores para clasificar oraciones en conjuntos de datos de generalización (incluyendo pares adversarios) y se compara con baselines como la probabilidad de la oración, componentes principales y vectores aleatorios.

• Análisis del Desarrollo (Escalamiento, Capas y Entrenamiento):

  • Se estudia cómo emergen estos vectores a medida que aumenta el tamaño del modelo (parámetros), la profundidad de las capas y el número de pasos de entrenamiento.
  • Se utilizan modelos de diversas familias (GPT-2, Llama-3.2, OLMo-2, Gemma-2) y tamaños (desde 1B hasta 13B+ parámetros).

• Modelado del Comportamiento Humano:

  • Se proyectan las oraciones en los vectores de diferencia modal para crear un espacio de características tridimensional.
  • Se entrena un modelo de regresión logística para predecir la distribución de respuestas de participantes humanos (cómo clasifican las oraciones) basándose en estas proyecciones, comparando el rendimiento con otras representaciones.

• Interpretación de Características:

  • Se correlacionan las proyecciones de las oraciones en los vectores de diferencia con puntuaciones humanas sobre dimensiones interpretables (ej. probabilidad subjetiva del evento, capacidad de visualización o "imageability", gramaticalidad, valencia emocional).

3. Contribuciones Clave

1. Evidencia de Representaciones Lineales: Demuestran que los LMs poseen vectores de diferencia modal lineales que discriminan eficazmente entre categorías, superando a las estimaciones de probabilidad de la oración.
2. Orden de Emergencia: Identifican un orden consistente en el que surgen estas distinciones: primero las categorías más obvias (Inconcebible vs. otras), seguidas por Imposible vs. Probable, y finalmente las distinciones más finas (Improbable vs. Imposible).
3. Correspondencia con la Cognición Humana: Proponen que el espacio de características generado por estos vectores refleja mejor las intuiciones graduales y las distribuciones de clasificación de los humanos que los métodos tradicionales.
4. Insights sobre la "Inconcebibilidad": Descubren que la distinción entre "Imposible" e "Inconcebible" está fuertemente correlacionada con la capacidad de imaginar el escenario, sugiriendo que los LMs codifican la noción de que lo inconcebible viola los presupuestos conceptuales básicos necesarios para la imaginación.

4. Resultados

• Rendimiento de Clasificación: Para modelos de más de 2 mil millones de parámetros, los vectores de diferencia modal logran una precisión de clasificación superior a la probabilidad de la oración y a otros baselines en conjuntos de datos de generalización, incluidos pares adversarios. Los modelos pequeños (<2B) muestran un rendimiento inconsistente.
• Desarrollo Jerárquico: Las distinciones modales más gruesas (ej. distinguir lo inconcebible de lo demás) aparecen en modelos más pequeños, en capas más tempranas y en etapas iniciales del entrenamiento. Las distinciones más finas (ej. probable vs. improbable) requieren modelos más grandes y capas más profundas.
• Modelado Humano: El espacio de características derivado de los vectores de diferencia modal predice con mayor precisión las distribuciones de respuestas humanas (incluyendo la incertidumbre o entropía en las clasificaciones) que las proyecciones basadas en probabilidad o componentes principales.
• Correlaciones Interpretativas:
  • El vector Probable-Improbable se correlaciona fuertemente con la "probabilidad subjetiva del evento".
  • El vector Imposible-Inconcebible se correlaciona selectivamente con la capacidad de visualización (imageability) y la presencia de objetos físicos, apoyando la hipótesis de que la imaginación es el factor clave para distinguir entre eventos que violan las leyes físicas (imposibles) y aquellos que carecen de sentido semántico (inconcebibles).

5. Significado

Este trabajo tiene implicaciones profundas tanto para la IA como para las ciencias cognitivas:

• Para la IA: Sugiere que los LMs desarrollan "modelos del mundo" internos que van más allá de la mera predicción de tokens. Estos modelos capturan principios causales y restricciones conceptuales que permiten distinguir entre realidad, hipótesis y fantasía. Esto es crucial para aplicaciones de alto riesgo donde la distinción entre hechos y ficción es vital.
• Para la Cognición Humana: Ofrece una nueva ventana para entender cómo los humanos categorizan la realidad. La correlación entre las representaciones del modelo y el comportamiento humano sugiere que los LMs, entrenados en texto humano, han internalizado intuiciones similares a las nuestras sobre la plausibilidad. Específicamente, la conexión entre la distinción "imposible/inconcebible" y la "imaginabilidad" plantea nuevas hipótesis sobre cómo los humanos utilizan la imaginación para validar la coherencia conceptual de los eventos.

En resumen, el estudio demuestra que los LMs no solo "adivinan" la plausibilidad, sino que poseen representaciones estructuradas y jerárquicas de la modalidad que reflejan tanto la lógica del mundo físico como las intuiciones humanas sobre lo que es concebible.