Resumen Técnico: Los LM como bases de conocimiento específicas para tareas: Un análisis de interpretabilidad

Planteamiento del problema

Los modelos de lenguaje (LM) se conceptualizan frecuentemente como bases de conocimiento, donde los parámetros almacenan información fáctica accesible a través de diversas consultas. Una propiedad fundamental de las bases de conocimiento bien diseñadas es la invarianza de tarea: diferentes consultas para el mismo hecho deben recuperar resultados consistentes desde una única fuente de verdad. Por ejemplo, una base de datos tradicional debería devolver "París" tanto para "¿Cuál es la capital de Francia?" como para "La capital de Francia es ___".

Este artículo investiga si los LM satisfacen esta propiedad de invarianza de tarea. Específicamente, pregunta si el conocimiento fáctico se almacena de manera independiente a la tarea o si la representación interna de un hecho en el modelo está entrelazada con el formato de tarea específico (por ejemplo, opción múltiple frente a generación abierta) utilizado para consultarlo. Si los LM carecen de invarianza de tarea, la analogía de "base de conocimiento" se ve socavada, con implicaciones para la fiabilidad, la consistencia y la controlabilidad del conocimiento fáctico en estos sistemas.

Metodología

Los autores emplean un enfoque dual que combina el análisis conductual (rastreo del surgimiento del conocimiento durante el entrenamiento) y el análisis mecanístico (localización de subconjuntos específicos de parámetros).

1. Análisis conductual: Hipótesis de co-emergencia

Los autores rastrean la adquisición de conocimiento fáctico a través de puntos de control (checkpoints) de entrenamiento del modelo OLMo-3-7B IT.

• Datos: Cinco conjuntos de datos relacionales (ej. país-capital, monumento-país) formulados como tripletas de (sujeto, relación, objeto).
• Tareas: Seis formatos de tarea distintos: completado de siguiente token (COMPLETION), rellenar el espacio en blanco (FITB), preguntas y respuestas abiertas (OPENQA), preguntas de opción múltiple de cuatro vías (MCQA), MCQA negativa y verificación binaria.
• Hipótesis: Si el conocimiento es invariante a la tarea, un hecho adquirido para una tarea debería co-emerger (aparecer simultáneamente) en otras tareas en las que el modelo ya es competente. Formalmente, si un hecho $f$ emerge en la tarea $t$ en el punto de control $E(f, t)$, y el modelo es competente en la tarea $t'$ en $E(\cdot, t')$, entonces $E(f, t')$ debe ser $\le \max(E(f, t), E(\cdot, t'))$.
• Prueba estadística: Los autores formalizan la invarianza de tarea como independencia condicional entre hechos y tareas ($P(\text{correcto} | f, t) = P(\text{correcto} | f) \cdot P(\text{correcto} | t)$) y prueban términos de interacción utilizando un ANOVA de dos vías sobre las log-probabilidades.

2. Análisis mecanístico: Localización de parámetros

Para determinar si diferentes tareas dependen de diferentes parámetros para el mismo hecho, los autores adaptan un marco de localización (Bayazit et al., 2024) para identificar subconjuntos dispersos de parámetros (cabezales de atención y neuronas MLP) específicos para pares individuales de (hecho, tarea).

• Objetivo: Aprender máscaras binarias $m$ sobre los parámetros del modelo para minimizar una función de pérdida que consta de cuatro términos:
  • Necesidad: Eliminar los parámetros enmascarados debe degradar el rendimiento en el par (hecho, tarea) objetivo.
  • Suficiencia: Los parámetros enmascarados deben ser suficientes para recuperar el rendimiento en un prompt corrompido (donde el sujeto es reemplazado por marcadores de posición) cuando sus activaciones son parcheadas.
  • Especificidad: Eliminar o parchear estos parámetros debe tener un efecto mínimo en el mismo hecho bajo otras tareas o en otros hechos bajo la misma tarea.
  • Dispersión (Sparsity): La máscara debe ser lo más pequeña posible.
• Modelos: Los experimentos se realizaron en OLMo-2-7B IT, OLMo-2-13B IT y Gemma-2-9B IT.

3. Entrelazamiento entre tareas y análisis de CoT

• Métricas de entrelazamiento: Los autores definen una puntuación para cuantificar qué tan "limpiamente" se puede ablar un codificación de (hecho, tarea) sin afectar a otros pares.
• Cadena de Pensamiento (CoT): Los autores prueban si el razonamiento CoT recupera el conocimiento inaccesible para la respuesta directa al involucrar parámetros específicos de la tarea más allá de los ligados a la tarea de evaluación. Comparan la respuesta directa frente a CoT bajo la ablación cero de los parámetros localizados.

Resultados clave

1. Violación de la invarianza de tarea (Conductual)

• Co-emergencia limitada: La hipótesis de co-emergencia se viola frecuentemente. En el 47.9% de los pares (hecho, tarea), un hecho no emerge en una tarea objetivo para el paso esperado, incluso cuando el modelo es competente en esa tarea y el hecho ha emergido en otros lugares.
• Rechazo estadístico: La hipótesis nula de independencia condicional (sin interacción entre hecho y tarea) es rechazada en cada punto de control de entrenamiento ($p \approx 0$). El término de interacción explica hasta el 23% de la varianza en el modelo final, lo que indica que la recuperación del conocimiento depende altamente del formato de la tarea.

2. Subconjuntos de parámetros distintos (Mecanístico)

• Codificaciones específicas de la tarea: Los experimentos de localización identificaron con éxito subconjuntos dispersos y distintos de parámetros para cada par (hecho, tarea).
• Necesidad y Especificidad: La ablación cero de los parámetros localizados para un par (hecho, tarea) específico causó caídas significativas de rendimiento (disminución relativa del 29% al 89%) en dicho par. Crucialmente, el rendimiento sobre el mismo hecho evaluado bajo otras tareas, y otros hechos bajo la misma tarea, permaneció mayormente inafectado (caídas $\le 8\%$).
• Suficiencia: Parchear las activaciones localizadas de nuevo en un prompt corrompido recuperó con éxito el rendimiento (tasa de reconstrucción del 69% al 102%) para el par objetivo, confirmando que estos parámetros portan la información necesaria.

3. Patrones de entrelazamiento

• Generación vs. Discriminación: El formato de la tarea es un predictor dominante del entrelazamiento. Las tareas de discriminación (MCQA, Verificación) están consistentemente más entrelazadas con otras tareas que las tareas de generación (OPENQA, FITB).
• Asimetría: Los hechos adquiridos mediante tareas de generación tienden a co-emerger en otras tareas, pero los hechos adquiridos mediante tareas de discriminación rara vez co-emergen en tareas de generación.

4. Papel de la Cadena de Pensamiento (CoT)

• Recuperación: Cuando se ablan los parámetros localizados de una tarea, el razonamiento CoT recupera una parte significativa del rendimiento perdido (cayendo solo un 12%–30% frente al 20%–72% de la respuesta directa).
• Dependencia entre tareas: CoT sufre más daños colaterales cuando se ablan las codificaciones de otras tareas en comparación con la respuesta directa. Esto sugiere que CoT navega a través de múltiples codificaciones específicas de la tarea para reconstruir la respuesta, en lugar de depender únicamente de los parámetros específicos de la tarea de evaluación.

Significado y afirmaciones

El artículo concluye que la analogía de "base de conocimiento" para los LM es errónea porque lo que el modelo sabe y cómo se le pregunta están entrelazados en el espacio de los parámetros.

• Fiabilidad y Controlabilidad: La falta de invarianza de tarea implica que las intervenciones de edición de conocimiento o de desaprendizaje (unlearning) dirigidas a un único formato de tarea pueden dejar el hecho intacto en otros formatos. Por el contrario, las evaluaciones de una sola tarea proporcionan solo una visión parcial del conocimiento codificado de un modelo.
• Mecanismo de Razonamiento: Los hallazgos ofrecen una explicación mecanística de por qué el razonamiento CoT desbloquea el conocimiento inaccesible para la respuesta directa: CoT involucra codificaciones paramétricas de múltiples formatos de tarea, sorteando eficazmente las limitaciones de una única codificación específica de la tarea.
• Direcciones Futuras: Los autores sugieren que los esquemas de entrenamiento que fomenten codificaciones fácticas invariantes a la tarea (por ejemplo, incorporando el razonamiento intermedio durante el entrenamiento) podrían mejorar la fiabilidad y la controlabilidad de los LM.

Los autores se mantienen modestos, señalando que sus hallazgos describen principalmente el conocimiento relacional bien conocido y que la interacción entre estos patrones y la escala del modelo sigue siendo una pregunta abierta. No afirman que los LM carezcan de conocimiento compartido, sino que el almacenamiento está organizado, al menos en parte, por el formato de la tarea.