Resumen Técnico: GraphGhost: Rastreo de Estructuras Detrás de los Grandes Modelos de Lenguaje

Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLMs) demuestran capacidades sólidas en tareas de razonamiento estructurado (por ejemplo, resolución de problemas matemáticos, inferencia lógica), sin embargo, los mecanismos internos que impulsan estos comportamientos siguen siendo poco comprendidos. Los métodos de interpretabilidad existentes se centran principalmente en las atribuciones a nivel de token, que rastrean las predicciones individuales hacia tokens o activaciones de entrada específicos. Aunque son útiles para explicaciones localizadas, estos enfoques no logran capturar los procesos de razonamiento de múltiples pasos y el flujo global de información dentro del modelo. En consecuencia, existe una falta de conocimiento sobre cómo se componen, fusionan y reutilizan las representaciones a través de los pasos de razonamiento, lo que crea una brecha entre la comprensión fiel de los mecanismos internos y la lógica de razonamiento interpretable por humanos.

Metodología: GraphGhost

Para abordar estas limitaciones, los autores proponen GraphGhost, un marco basado en grafos que modela las interacciones internas de los tokens y las activaciones de las neuronas en los LLMs como grafos estructurados. El marco opera desde dos perspectivas complementarias:

1. Vista de Muestra (Específica de la Instancia)

Esta vista rastrea las dependencias internas de los tokens dentro de un par entrada-salida único para explicar una predicción específica.

• Mecanismo: Partiendo del token de la respuesta final, el método se expande iterativamente hacia atrás a través de la computación interna del modelo utilizando técnicas de rastreo de circuitos (específicamente utilizando transcodificadores para descomponer las activaciones densas de MLP en características dispersas e interpretables).
• Construcción: Agrega grafos de atribución locales basados en logits. Los nodos representan tokens contribuyentes (o características del transcodificador) y las aristas dirigidas representan relaciones de dependencia.
• Salida: Un grafo estructural no ponderado ($G_{sample}$) que captura la existencia de dependencias, junto con un mapa de pesos de aristas locales ($W_{local}$) que acumula la fuerza de la contribución para su posterior agregación. Esto revela cómo los tokens intermedios se fusionan y propagan durante la generación secuencial.

2. Vista de Conjunto de Datos (Patrones Generalizables)

Esta vista agrega estructuras a través de múltiples muestras para identificar patrones recurrentes y compartidos a nivel de token aprendidos durante el entrenamiento.

• Mecanismo: Los GraphGhosts a nivel de muestra de un conjunto de datos se fusionan mediante la unión de conjuntos para formar un grafo unificado ($G_{data}$).
• Agregación: Los pesos de las aristas se acumulan a través de las muestras para cuantificar la frecuencia y la fuerza de las dependencias recurrentes. Se aplica una normalización estocástica por filas para determinar la importancia relativa de las aristas a nivel de conjunto de datos.
• Salida: Un grafo que captura primitivas de razonamiento reutilizables y estructuras específicas de la tarea, revelando cómo el modelo se generaliza a través de diferentes dominios (por ejemplo, razonamiento matemático frente a lógico).

Analítica de Grafos e Intervención

El marco emplea analítica de grafos para caracterizar el estado interno del modelo:

• Fusión Semántica: Analizada mediante el grado de entrada de los nodos, identificando tokens donde la información de múltiples fuentes converge (por ejemplo, la fusión de "1" y "0" en una representación unificada de "10").
• Disparadores de Razonamiento: Identificados utilizando PageRank en aristas invertidas para encontrar nodos influyentes que inician pasos de razonamiento (por ejemplo, tokens como "So" o "Step").
• Intervención: Los autores realizan perturbaciones dirigidas (silenciar nodos neuronales específicos asociados con tokens críticos) para observar cambios causales en las trayectorias de razonamiento y la salida.

Contribuciones Clave

1. Marco Unificado: La propuesta de GraphGhost, que modela las interacciones internas de los tokens y las activaciones de las neuronas tanto a nivel de muestra como de conjunto de datos, yendo más allá de las atribuciones de tokens aislados.
2. Perspectivas Estructurales: La revelación de que los grafos internos capturan las restricciones estructurales que gobiernan el comportamiento del modelo, específicamente moldeando la composición y propagación de la información durante el razonamiento.
3. Validación Empírica: Experimentos cuantitativos que demuestran que los nodos neuronales relacionados con tokens estructuralmente importantes influyen fuertemente en las trayectorias de razonamiento. Las intervenciones en estos nodos resultan en cambios mensurables tanto en la expresión del lenguaje (por ejemplo, cambio de idioma) como en el flujo lógico.

Resultados Experimentales

Los autores evaluaron GraphGhost en múltiples modelos (Qwen3-0.6B, Qwen2.5-1.5B, Llama3.1-8B-Instruct y variantes destiladas de DeepSeek) a través de tres dominios de razonamiento: matemático (GSM8K, MAWPS), lógico (ProntoQA, BoolQA) y científico (ARC-Easy, QASC).

• Propiedades Estructurales: Se encontró que las propiedades estructurales del grafo están estrechamente asociadas con los tokens influyentes y los nodos neuronales. Los nodos de alto grado de entrada (puntos de fusión) y los nodos de alto PageRank (disparadores) fueron identificados como estructuralmente críticos.
• Efectos de la Perturbación:
  • Control Semántico: Silenciar un nodo neuronal asociado con el token "the" en una capa intermedia (Capa 20) interrumpió la vía semántica del inglés, causando que el modelo generara texto en chino (una traducción directa), demostando el papel del nodo en el mantenimiento del lenguaje.
  • Alteración Lógica: Silenciar un nodo neuronal asociado con el token "." en una capa superior (Capa 25) alteró el flujo de razonamiento, introduciendo un nuevo token disparador ("So") que llevó al modelo a producir una conclusión lógica correcta donde anteriormente había fallado.
• Generalización: La vista del conjunto de datos reveló que, mientras ciertos tokens (por ejemplo, ".", "the") se comparten entre dominios como primitivas de razonamiento universales, otros son específicos del dominio (por ejemplo, tokens aritméticos en GSM8K/MAWPS frente a tokens de elección en ARC).

Significancia y Reivindicaciones

El artículo afirma que los patrones estructurales capturados por GraphGhost reflejan la organización interna significativa del razonamiento de los LLM. Al formalizar el razonamiento como un grafo de dependencias de tokens, el marco proporciona una forma fundamentada de entender la fuente de inteligencia en los LLMs. Los resultados sugieren que:

• El razonamiento no es meramente una secuencia de predicciones de tokens aislados, sino que es impulsado por interacciones estructuradas y un flujo de información global.
• Las estructuras de grafos internos moldean fundamentalmente cómo los tokens individuales influyen en los resultados del razonamiento.
• La interpretabilidad fiel requiere alinear los mecanismos de razonamiento internos con la lógica interpretable por humanos, lo cual GraphGhost facilita al exponer el proceso "mecanicista" de cómo los tokens intermedios se fusionan y reutilizan.

Los autores concluyen que GraphGhost ofrece un método robusto para el análisis mecanicista, cerrando la breancia entre las explicaciones locales de tokens y las restricciones estructurales globales que gobiernan el comportamiento de los LLM.