Resumen Técnico: ¿Creencia o Circuitos? Evidencia Causal para el Aprendizaje de Grafos en Contexto

1. Declaración del Problema

El artículo aborda un debate fundamental en la interpretabilidad mecánica sobre cómo los Modelos de Lenguaje de Gran Escala (LLM) realizan el aprendizaje en contexto (ICL). Específicamente, investiga si los LLM infieren relaciones estructurales latentes (un mecanismo de "creencia" análogo a la inferencia bayesiana sobre modelos del mundo) o simplemente copian transiciones locales recientes mediante circuitos de inducción (un mecanismo de "circuitos").

Aunque trabajos recientes (Park et al., 2025) sugirieron que los LLM mantienen modelos probabilísticos implícitos del mundo sobre estructuras de grafos, contraargumentos (Arditi, 2026; Ransome, 2026) postulan que los comportamientos observados pueden explicarse completamente mediante cabezas de inducción local que acumulan estadísticas de transición sin inferencia de estructura global. Los autores buscan triangular este debate utilizando una tarea de juguete controlada que involucra paseos aleatorios sobre estructuras de grafos en competencia.

2. Metodología

El estudio emplea un enfoque multifacético que combina modelado conductual, análisis representacional e intervenciones causales en el modelo Llama-3.1-8B.

2.1. Diseño de la Tarea

Los autores utilizan una tarea de paseo aleatorio en grafos donde el modelo predice el siguiente nodo en una secuencia generada por un grafo desconocido. Se prueban dos hipótesis en competencia:

• $H_{grid}$: Un grafo de cuadrícula de $4\times4$ (16 nodos, 24 aristas, grado variable).
• $H_{ring}$: Un grafo anillo de 16 nodos (16 aristas, grado uniforme).

Para crear una competencia genuina, los autores entrelazan paseos aleatorios de ambos grafos en proporciones de mezcla controladas ($\rho$), donde $\rho$ representa la probabilidad de que un segmento sea extraído del anillo.

2.2. Modelado Conductual (Experimento 1)

Los autores ajustan un modelo de dinámica de creencias a las curvas de precisión observadas. A diferencia de los enfoques previos de log-prior planos, introducen un prior ponderado por complejidad:
$$b_k = b_0 - \lambda \cdot C(H_k)$$
Donde $C(H_k)$ es la complejidad de la Longitud Mínima de Descripción (MDL) de la hipótesis del grafo (basada en la codificación de la lista de aristas).

• Hipótesis: Si el modelo realiza inferencia estructural, debería requerir más evidencia para comprometerse con el grafo más complejo ($H_{grid}$), resultando en $\hat{\lambda} > 0$.
• Contraste: Los circuitos de inducción puros deberían acumular estadísticas de transición uniformemente independientemente de la topología global, prediciendo $\hat{\lambda} \approx 0$.

2.3. Análisis Representacional (Experimento 2)

Los autores analizan las activaciones del flujo residual (específicamente la capa 26) utilizando Análisis de Componentes Principales (PCA).

• Métrica: Miden la energía de Dirichlet normalizada por grado ($E_{norm}$) para cuantificar qué tan bien la geometría de baja dimensión de las representaciones de tokens-nodo se alinea con la verdadera estructura de adyacencia del grafo.
• Objetivo: Determinar si ambas topografías de grafos son recuperables simultáneamente en subespacios ortogonales en proporciones de mezcla intermedias, una firma inconsistente con una única representación mezclada derivada de la copia local.

2.4. Intervenciones Causales (Experimento 3)

Para establecer causalidad entre las representaciones internas y las predicciones, los autores realizan dos intervenciones:

1. Parcheo de Activación: Reemplazar las activaciones del flujo residual de un prompt "corrupto" (mezclado) con las de un prompt "limpio" (grafo único) en capas específicas. Miden la recuperación de la preferencia del grafo limpio utilizando una puntuación de contraste de logits.
2. Dirigido de Activación: Añadir un "vector de diferencia de grafo" aprendido (derivado de contextos de grafo único vs. anillo) al flujo residual para desplazar las predicciones hacia una familia de grafos específica.

3. Resultados Clave

3.1. Evidencia Conductual

• Sensibilidad a la Complejidad: El modelo ajustado muestra $\hat{\lambda} > 0$ y $\hat{b}_{grid} < \hat{b}_{ring}$. El modelo requiere contexto desproporcionadamente mayor para comprometerse con la topología de cuadrícula más densa en comparación con el anillo.
• Transición de Fase: El punto de inflexión para la cuadrícula se desplaza monótonamente hacia adelante a medida que aumenta la evidencia del anillo.
• Selección de Modelo: Una parametrización por grafo (que permite dinámicas distintas para cada grafo) supera significativamente a una ablación de sesgo de mezcla (que solo ajusta el prior) en las métricas AIC y BIC. Esto sugiere que el modelo procesa la evidencia estructural de manera diferente para cada topología, no solo mediante un prior estático.

3.2. Evidencia Representacional

• Subespacios Ortogonales: En proporciones de mezcla intermedias ($\rho = 0.5$), el PCA revela que ambas topografías de cuadrícula y anillo están codificadas simultáneamente en subespacios principales ortogonales.
• Implicación: Un mecanismo de inducción puramente local produciría una única representación mezclada de estadísticas de co-ocurrencia. La existencia de dos estructuras globales separables contradice la hipótesis de "solo copia".
• Alineación Geométrica: A medida que la longitud del contexto aumenta más allá del punto de inflexión, la geometría interna refleja progresivamente la topología real, con $E_{norm}$ desplazándose de 0.785 a 0.828.

3.3. Evidencia Causal

• Transferencia de Parche: El parcheo de capas tardías (alrededor de las capas 26–30) transfiere casi completamente la preferencia del grafo limpio al prompt corrupto. Crucialmente, este efecto se extiende a aristas no vistas (vecinos nunca observados en el contexto corrupto), lo que indica que el modelo no está simplemente reproduciendo transiciones observadas, sino utilizando una representación estructural.
• Dirigido: El dirigido lineal utilizando el vector de diferencia de grafo mueve exitosamente las predicciones en la dirección prevista. Este efecto es robusto frente a vectores aleatorios con norma coincidente y controles de etiquetas desordenadas, confirmando que la direccionalidad es específica de la señal de la familia de grafos.

4. Contribuciones

1. Prior Ponderado por Complejidad: Reemplazó los priores planos con una medida de complejidad inspirada en MDL, recuperando una firma cuantitativa de sesgo estructural sensible a la topología ($\hat{\lambda} > 0$).
2. Competencia Entrelazada: Demostró que la acumulación de evidencia sesgada por topología se mantiene frente a la predicción de los circuitos de inducción de comportamiento simétrico en un régimen de hipótesis mixtas.
3. Codificación Simultánea: Proporcionó evidencia de PCA de que topologías globales de grafos distintas son recuperables en subespacios ortogonales simultáneamente, un patrón difícil de conciliar con la copia de transiciones locales.
4. Vínculo Causal: Estableció mediante parcheo y dirigido que estas estructuras representacionales controlan causalmente las predicciones del siguiente token, incluyendo para transiciones no vistas.

5. Significado y Conclusión

El artículo concluye que la dicotomía entre "creencia" (inferencia de estructura global) y "circuitos" (inducción local) es probablemente una falsa dicotomía. La evidencia respalda una explicación de doble mecanismo:

• Cachés similares a la inducción siguen siendo importantes, como lo demuestran los efectos retrasados en aristas no vistas y la recuperación incompleta bajo dirigido.
• Representaciones de estructura latente operan en paralelo, integrando evidencia antes de la predicción final.

Los autores afirman que la arquitectura de esta coexistencia, donde la inferencia de estructura genuina y los circuitos de inducción operan simultáneamente, es el desafío principal para la interpretabilidad mecánica en el futuro. No afirman que los LLM posean un razonamiento completo similar al humano, sino que mantienen modelos probabilísticos implícitos y manipulables del mundo junto con mecanismos de coincidencia de patrones locales.