Resumen Técnico: Dinámicas Causales–Geométricas Emergentes a Través de la Profundidad en Modelos de Lenguaje Grandes

Enunciado del Problema

La investigación actual sobre Modelos de Lenguaje Grandes (LLM) se bifurca en dos enfoques distintos pero a menudo desconectados: el análisis geométrico y la intervención causal.

• Análisis Geométricos caracterizan la evolución de las representaciones de tokens a través de la profundidad de la red utilizando métricas como similitud, dimensionalidad y curvatura. Si bien estos estudios revelan variaciones estructuradas dependientes de la profundidad, permanecen en gran medida correlacionales. Describen cómo se codifica el contexto, pero no logran identificar qué características geométricas específicas gobiernan directamente la distribución de predicción de salida.
• Intervenciones Causales (estudios mecanísticos) perturban estados internos para observar cambios en la salida. Estos estudios han revelado perfiles de eficacia dependientes de la profundidad (por ejemplo, ciertas intervenciones funcionan mejor en capas tempranas frente a tardías), pero a menudo carecen de un marco representacional unificador. Sigue sin estar claro cómo se organizan geométricamente las representaciones manipuladas o por qué las intervenciones tienen éxito en capas específicas pero no en otras.

La cuestión central no resuelta es cómo la estructura geométrica de las representaciones internas se reorganiza a través de la profundidad de la red para dar forma causalmente a las predicciones. Específicamente, la estructura representacional puede ser descriptivamente accesible y linealmente decodificable sin ser causalmente operativa en la generación de salidas. Este artículo busca sintetizar estas perspectivas definiendo la "geometría mecanística": la geometría representacional cuya estructura está directamente vinculada al control causal sobre la predicción.

Metodología

Los autores emplean un enfoque integrado que combina análisis geométrico con intervenciones causales dirigidas a través de tres LLM de solo decodificador: Llama V3.1 8B, Mistral 0.3 7B y Qwen 2.5 7B.

1. Análisis de Intervenciones

El estudio utiliza tres tareas modulares con espacios de entrada-salida bien definidos: "Meses del año", "Días de la semana" y "Matemáticas de reloj". Se aplican dos tipos principales de intervención:

• Intervenciones Centradas en la Entrada: Se calculan vectores de dirección ($V_L$) basados en las diferencias de centroides entre representaciones específicas de tokens de entrada (por ejemplo, desplazando la representación de "enero" hacia "febrero"). Estos vectores se suman a las activaciones ocultas de los tokens de entrada en capas específicas.
• Intervenciones Centradas en la Salida: Se calculan vectores de dirección basados en las diferencias de centroides entre las representaciones ocultas del token final asociadas con diferentes salidas predichas. Estos se aplican a la activación del token final.
• Métrica: La eficacia de una intervención se cuantifica mediante el cambio en la preferencia de logits del modelo entre las predicciones original y objetivo.

2. Análisis de Representaciones

Para caracterizar la geometría subyacente, los autores analizan las representaciones utilizando el conjunto de datos WikiText-103, centrándose en:

• Dimensionalidad: Medida mediante la Razón de Participación (PR) de las activaciones de la capa oculta para determinar la dimensionalidad efectiva. Se realizan comparaciones entre "tokens idénticos" (el token final a través de diferentes secuencias) y "tokens no idénticos" (tokens cerca del final que varían según la secuencia).
• Codificación Geométrica: Las distancias euclidianas y angulares por pares entre las representaciones de tokens se correlacionan con la divergencia simétrica de Kullback-Leibler (KL) de sus respectivas distribuciones de predicción de salida.
• Intervenciones Puras: Para aislar componentes geométricos, los autores realizan "intervenciones angulares puras" (normalizando vectores antes de la dirección para preservar solo la dirección) y "intervenciones de norma puras" (reescalando vectores para igualar las normas medias).

Resultados Clave

1. Una Transición Nítida a lo Largo de la Profundidad

Los experimentos de intervención revelan una estructura computacional bifásica en todos los modelos probados:

• Fase Temprana (Centrada en el Contexto): Aproximadamente los primeros dos tercios de las capas son selectivamente sensibles a intervenciones centradas en la entrada. Perturbar los tokens de entrada aquí desplaza eficazmente las predicciones.
• Fase Tardía (Centrada en la Predicción): Aproximadamente el último tercio de las capas es selectivamente sensible a intervenciones centradas en la salida. Perturbar la representación del token final aquí desplaza eficazmente las predicciones.
• Esta transición representa un cambio de la computación de procesamiento de contexto a la computación de formación de predicciones.

2. Reorganización de la Geometría Representacional

El análisis geométrico revela una reorganización distinta del espacio de representaciones tras el punto de transición:

• Dimensionalidad: Los tokens idénticos muestran una expansión y una subsiguiente contracción de la dimensionalidad efectiva en las capas tempranas, estabilizándose en las capas posteriores. Los tokens no idénticos exhiben perfiles de dimensionalidad más amplios y multimodales impulsados por la identidad del token y el contexto.
• Codificación Angular vs. Euclidiana: En la fase centrada en la predicción (capas tardías), emerge un código geométrico de dos componentes:
  • Estructura Angular: Las distancias angulares entre las representaciones de tokens se vuelven fuertemente correlacionadas positivamente con la similitud de sus distribuciones de predicción de salida.
  • Normas: Las distancias euclidianas se vuelven en gran medida desacopladas de la similitud de predicción. La divergencia entre las distancias euclidianas y angulares indica que las normas de los vectores codifican información (variación específica del token y del contexto) que es ortogonal al mecanismo de predicción.

3. Validación Causal de la Codificación Angular

La hipótesis de que la predicción está controlada por la geometría angular en las capas tardías se confirma mediante intervenciones puras:

• Intervenciones Angulares: Las intervenciones puramente direccionales en el token final son altamente efectivas en la fase tardía (centrada en la predicción) pero ineficaces en la fase temprana.
• Intervenciones de Norma: Las intervenciones puramente basadas en la norma son en gran medida ineficaces en todas las capas y tipos de intervención.
• Mecanismo: Los autores proponen que en la capa final, la distribución de salida $p \propto \text{Softmax}(W_{out} h_L)$ depende de la dirección de $h_L$ para los valores de logits relativos, mientras que la norma actúa meramente como un factor de escala global (temperatura inversa). Por lo tanto, modificar la estructura angular altera directamente la identidad de la predicción.

Contribuciones Clave

1. Síntesis de Perspectivas: El artículo unifica los enfoques geométrico y causal, demostrando que, si bien la estructura geométrica existe a lo largo de la red, solo aspectos específicos (organización angular en capas tardías) son causalmente relevantes para la predicción.
2. Identificación de una Arquitectura Bifásica: Establece una disociación funcional clara donde las capas tempranas procesan el contexto y las capas tardías forman predicciones, marcadas por una transición nítida en la eficacia de las intervenciones.
3. Geometría Mecanística de la Predicción: Identifica un código geométrico específico en las capas tardías donde la estructura angular parametriza la similitud distribucional del siguiente token, mientras que las normas de las representaciones transportan información desacoplada de la predicción.
4. Refutación de la Decodabilidad como Causalidad: El trabajo demuestra que la mera presencia de estructura semántica decodificable (separabilidad lineal) no implica relevancia causal para la predicción, desafiando suposiciones en la literatura previa de intervenciones.

Significado y Afirmaciones

Los autores afirman que sus hallazgos proporcionan una explicación mecanística de cómo los LLM transforman el contexto en predicción. El significado radica en:

• Reconciliación de Hallazgos Desconcertantes: Explica por qué las intervenciones dependen de la profundidad y por qué la similitud angular se correlaciona con la relación semántica solo en contextos específicos (capas tardías).
• Implicaciones para el Control: El artículo argumenta que la función por capas no puede entenderse ni intervenir eficazmente de forma aislada. El control efectivo requiere apuntar a la estructura dinámica global emergente, específicamente la geometría angular de las capas tardías. Las intervenciones dirigidas a características fácilmente decodificables (que pueden ser basadas en normas o de capas tempranas) pueden no generalizarse o ejercer solo un control indirecto.
• Perspectivas Arquitectónicas: Los resultados sugieren que los esquemas de normalización (como RMSNorm) pueden crear condiciones favorables para la codificación angular, donde la dirección se convierte en una señal más fiable que la magnitud para la predicción.

Los autores permanecen modestos, señalando que estos hallazgos se basan en tareas modulares específicas y familias de modelos, y que la relación entre la geometría del contexto en capas tempranas y la emergencia de códigos angulares en capas tardías sigue siendo una pregunta abierta. No proponen nuevas intervenciones de seguridad ni estrategias de despliegue, centrándose en cambio en mejorar la comprensión científica de la computación de los LLM.