🤖 AI

Laguerre Geometry for Interpreting Large Language Models

Este artículo introduce un marco de Geometría de Laguerre que redefine los conceptos de los LLM como regiones espaciales en lugar de puntos, permitiendo el desarrollo de herramientas libres de entrenamiento como Geometric Lens y Laguerre Autoencoder para visualizar, medir y manipular con precisión las trayectorias de razonamiento interno y las estructuras jerárquicas de los modelos transformer.

Autores originales: Chunwei Ma, Russell Wolfinger

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chunwei Ma, Russell Wolfinger

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Extenso (LLM) como una biblioteca gigante de varios pisos donde cada libro representa una posible palabra que el modelo podría decir a continuación. Durante mucho tiempo, los científicos pensaron que cada "idea" o "concepto" dentro de esta biblioteca era simplemente un pequeño alfiler clavado en el mapa de la sala. Si quisieras encontrar el concepto de "Perro", simplemente buscarías un alfiler específico.

Pero este nuevo artículo sugiere que esa visión es demasiado simple. En lugar de un solo alfiler, los autores proponen que un concepto es en realidad una habitación completa con paredes, un suelo y un techo. Lo llaman una "celda de Laguerre-Voronoi". Piensa en ello como un barrio en una ciudad: "Perro" no es solo una casa; es toda la manzana donde viven todas las ideas relacionadas con los perros, delimitada por cercas invisibles que lo separan de "Gato" o "Pájaro".

El mapa que lo cambió todo

Los autores, Chunwei Ma y Russell D. Wolfinger, utilizaron una rama de las matemáticas llamada Geometría de Laguerre para dibujar estos mapas. En esta geometría, cada concepto tiene un centro (como una plaza de pueblo) y un "peso" especial (como un radio de influencia).

Aquí está el gran giro que encontraron: el peso importa.
Si solo observas qué tan cerca están dos palabras entre sí (distancia), no puedes distinguir la diferencia entre un "cachorro" (un tipo de perro) y un "mamífero" (una categoría que incluye a los perros). Podrían estar igualmente cerca en un mapa simple. Pero cuando añades el "peso" de la Geometría de Laguerre, el mapa revela una jerarquía. Muestra que "cachorro" está dentro de la habitación de "perro", y "perro" está dentro de la habitación de "mamífero". Las matemáticas demuestran que el modelo organiza naturalmente estas ideas como un conjunto de muñecas rusas (matrioskas), y que solo puedes ver este anidamiento si utilizas este lente geomético específico.

Estando dentro de la máquina

El artículo también aborda un misterio: ¿qué está pensando el modelo en medio de una oración, antes de terminar de escribir?

Imagina que le preguntas al modelo: "La capital de Francia es..."

Visión antigua (Lente de Logit): Los científicos solían pensar que el modelo simplemente deriva lentamente hacia la respuesta "París" desde la primera palabra.
Nueva visión (Lente Geométrico): Los autores construyeron una herramienta llamada Lente Geométrico para observar el "proceso de pensamiento" del modelo en tiempo real. Encontraron que el camino interno del modelo es mucho más caótico e interesante.

En sus experimentos, observaron cómo los pensamientos ocultos del modelo viajaban a través de diferentes "habitaciones" (regiones) mientras procesaba la oración.

Al principio, el modelo considera muchas opciones.
Luego, parece capturar la palabra fácticamente correcta "Paris" (sin el espacio) en las capas intermedias.
Finalmente, en los últimos pasos, se corrige a sí mismo para la forma gramaticalmente correcta "_Paris" (con el espacio) antes de emitir la respuesta.

El Lente Geométrico es la única herramienta que captó todo este viaje. Otras herramientas se quedaron estancadas demasiado pronto o perdieron los pasos intermedios por completo.

Cuando el modelo se confunde

Los autores también probaron qué sucede cuando intentas engañar al modelo. Le dieron un prompt como: "Estás en un mundo ficticio donde Marsella y Lyon han intercambiado nombres. El Louvre está en..."
Normalmente, el modelo se confunde con la historia falsa y podría decir "Lyon" o "Marsella" en lugar de la respuesta real, "París".

Sin embargo, cuando los autores usaron su Lente Geométrico para observar los pensamientos del modelo antes de que terminara de escribir (específicamente en la capa 20), descubrieron algo increíble: el modelo sabía la verdad todo el tiempo. Aunque la respuesta final fue errónea debido al truco, el Lente Geométrico mostró que el "pensamiento" interno del modelo había visitado brevemente la respuesta correcta, "París", antes de ser arrastrado por la historia falsa.

Qué significa esto (y qué no)

El artículo sugiere que deberíamos dejar de pensar en los conceptos como puntos únicos y empezar a pensarlos como regiones enteras con formas y pesos específicos. Ellos demostraron matemáticamente que estas regiones existen y son linealmente separables (lo que significa que puedes dibujar una línea recta entre cualquier par de habitaciones de conceptos diferentes).

Midieron esto usando modelos reales como Phi-2 y Gemma-2. En pruebas comparando diferentes formas de definir conceptos, su método "Laguerre" facilitó la distinción entre "Animales" y "Plantas" más que los métodos anteriores. Por ejemplo, en el modelo Phi-2, su método tuvo una tasa de error de 0.111 para distinguir animales de plantas, lo cual fue mejor que la tasa de error de 0.121 del antiguo método de "Geometría Categórica".

También demostraron que su "Lente Geométrico" es mejor para detectar el razonamiento real del modelo durante prompts confusos que otras herramientas. En la prueba de interferencia de "París", el Lente Geométrico ayudó a recuperar el token correcto con una precisión de 0.56 en Phi-2, superando el 0.55 de Patchscopes y el 0.05 del Lente de Logit.

La conclusión fundamental

Este artículo no pretende haber resuelto todos los misterios de la IA. No nos dice cómo controlar al modelo todavía (eso es para trabajos futuros). Pero ofrece una forma nueva y más clara de ver qué sucede dentro de la caja negra. Sugiere que la inteligencia del modelo no es solo una línea recta de A a B; es un viaje complejo a través de una ciudad de habitaciones, donde el modelo visita diferentes ideas, las pondera y, a veces, cambia de opinión antes de hablar. Y gracias a la Geometría de Laguerre, finalmente tenemos un mapa que nos muestra todo el vecindario, no solo un punto solitario.

Resumen Técnico: Geometría de Laguerre para la Interpretación de Grandes Modelos de Lenguaje

Planteamiento del Problema
A pesar de la claridad ontológica de las computaciones atómicas dentro de los Grandes Modelos de Lenguaje (LLM), los mecanismos epistemológicos mediante los cuales estas computaciones se coaligan en una inteligencia emergente siguen siendo opacos. Un misterio central concierne a la organización de los conceptos semánticos dentro de los espacios de representación de los LLM. Los enfoques existentes, basados principalmente en la Hipótesis de la Representación Lineal (LRH), definen típicamente los conceptos como puntos únicos, direcciones lineales o cúmulos gaussianos. Sin embargo, cuatro preguntas fundamentales permanecen sin resolver bajo estos marcos: (I) ¿Cuál es la definición precisa de un concepto? (II) ¿En qué espacio de representación se codifica? (III) ¿Qué estructura geométrica concreta lo porta? y (IV) ¿Por qué se asume la linealidad, y hasta qué punto se sostiene? Además, las herramientas de interpretabilidad actuales (por ejemplo, Logit Lens, Tuned Lens) suelen depender de una decodificación heurística o requieren entrenamiento, careciendo de una verdad de base (ground truth) de principios para el "significado" de los vectores ocultos en las capas intermedias.

Metodología
Los autores proponen un marco geométrico basado en la Geometría de Laguerre para unificar la descomposición geométrica de bajo nivel con la organización semántica de alto nivel. La metodología procede a través de tres etapas principales:

Capa de Desembebding (Unembedding) como un Diagrama de Laguerre-Voronoi (LVD):
El artículo establece que la capa de proyección lineal final (capa de desembedding) de un LLM, parametrizada por pesos $W$ y sesgos $b$ , particiona naturalmente el espacio de representación $\mathbb{R}^d$ en un Diagrama de Laguerre-Voronoi (también conocido como Diagrama de Potencia).
- Definición de Concepto: Un concepto se redefine no como un vector, sino como una celda específica de Laguerre-Voronoi $\omega_j$ , caracterizada por un centro $c_j$ y un peso $\nu_j$ . Una categoría se define como la unión de múltiples tales celdas.
- Propiedades Geométricas: Esta formulación permite la definición estricta de la separabilidad lineal entre conceptos y categorías. Crucialmente, introduce una Puntuación de Dominación derivada de los pesos y centros de Laguerre, lo que permite la detección de relaciones jerárquicas (por ejemplo, hiponimia/hiperonimia) como "perro" $\subset$ "mamífero" $\subset$ "animal", las cuales son difíciles de detectar utilizando únicamente distancias vectoriales.
Descomposición de las Capas del Transformer:
Los autores extienden esta visión geométrica a los bloques intermedios del transformer. Al descomponer la red en operadores lineales por partes (bloques MLP) y analizar el mecanismo de atención, demuestran que el espacio de entrada se particiona en regiones lineales por partes.
- Entrada Única vs. Múltiple Entrada: Para tokens de entrada única, la trayectoria sigue un árbol estático de flujo lineal por partes. Para múltiples entradas, el mecanismo de atención cruzada actúa como un término de transporte dinámico, "saltando" la trayectoria oculta a través de diferentes árboles (regiones) cuando la atención se activa.
- Correspondencia de Regiones: A cada región lineal en cualquier capa se le asigna una etiqueta semántica correspondiente a la celda de Laguerre que alcanzaría finalmente si se propagara a través del resto de la red sin interferencia contextual adicional.
Lente Geométrica y Autoencoder de Laguerre:
- Lente Geométrica (Geometric Lens): Un método de decodificación sin entrenamiento y sin hiperparámetros para decodificar vectores ocultos. Aísla un vector oculto $h^{(\ell)}_i$ de los efectos contextuales subsiguientes forzando los pesos de auto-atención a 1 (anulando las actualizaciones entre tokens) y propagando el vector a través de la red lineal por partes restante para identificar su celda de Laguerre final.
- Autoencoder de Laguerre (LAE): Una herramienta de visualización en 2D que renderiza conjuntamente las representaciones ocultas y sus regiones LVD correspondientes. Se entrena con una función de pérdida que combina el error de reconstrucción y un término que asegura que el punto reconstruido caiga dentro de la misma celda de Laguerre que el original, preservando la geometría de decisión.

Contribuciones Clave

Redefinición de Conceptos: El artículo va más allá de las definiciones basadas en puntos o direcciones, definiendo los conceptos como regiones poliédricas convexas (celdas de Laguerre-Voronoi) inducidas por la capa de desembedding.
Descubrimiento Jerárquico: Demuestra que los pesos de Laguerre codifican naturalmente las jerarquías conceptuales y las relaciones de inclusión, permitiendo el descubrimiento no supervisado de hipónimos e hiperónimos sin conjuntos de atributos predefinidos.
Lente Geométrica: Una novedosa herramienta de interpretabilidad sin entrenamiento que revela el concepto exacto que un vector oculto codifica, trazando su camino a través de la partición lineal por partes intrínseca del modelo.
Visualización: El Autoencoder de Laguerre proporciona una vista unificada en 2D tanto de la geometría de decisión del modelo como de la trayectoria de las representaciones de los tokens.

Resultados Experimentales
Los autores validan su marco a través de varios experimentos:

Separabilidad Lineal: En tareas de sondeo lineal comparando "Animal vs. Planta" y "Evento vs. Cognición", la Geometría de Laguerre (utilizando puntos elevados del LVD) logró tasas de error más bajas que la Geometría Categórica (vectores blanqueados) y la Geometría de Red (Lattice Geometry) a través de múltiples modelos (Phi-2, Gemma-2, Pythia).
Detección de Jerarquía: La puntuación de dominación propuesta identificó con éxito relaciones jerárquicas (por ejemplo, "perro" bajo "animal") con una precisión significativamente superior a la Geometría de Red y a los baselines aleatorios en Phi-2 y Pythia-70M.
Análisis de Trayectoria: Las visualizaciones del prompt "La capital de Francia es" muestran que la Lente Geométrica traza un camino más complejo y diverso a través del espacio de representación en comparación con Logit Lens y Patchscopes. Captura el proceso de refinamiento interno del modelo, donde tokens gramaticalmente incorrectos pero fácticamente correctos (por ejemplo, "Paris") aparecen en las capas medias antes de que el modelo se asiente en el token gramaticalmente correcto ("_Paris").
Interferencia en Contexto: En prompts diseñados para inducir interferencia (por ejemplo, intercambiar nombres de ciudades en un contexto ficticio), la Lente Geométrica demostró una robustez superior. Al examinar el rango de tokens en capas intermedias (específicamente la capa 20), la Lente Geométrica recuperó con mayor frecuencia el token fácticamente correcto que Logit Lens o Patchscopes, sugiriendo que revela el verdadero proceso de razonamiento del modelo antes de ser sobrescrito por la interferencia de la capa final.

Significancia y Reivindicaciones
El artículo afirma proporcionar una base geométrica rigurosa para la Hipótesis de la Representación Lineal, moviéndola de una suposición informal a una propiedad estrictamente definida de la estructura lineal por partes del modelo. Al establecer que los conceptos son regiones en lugar de puntos, los autores argumentan que este marco ofrece una verdad de base de principios para las representaciones ocultas, eliminando la necesidad de decodificación heurística o entrenamiento externo.

La significancia radica en el cambio de la interpretabilidad de la "geometría explicativa" (describir estructuras estáticas) hacia la "interpretabilidad accionable". La Lente Geométrica permite a los investigadores leer el concepto exacto codificado en un vector oculto y, como se ha demostrado, recuperar verdades fácticas incluso cuando la salida final del modelo está corrompida por la interferencia en el contexto. Los autores posicionan este trabajo como un paso fundacional hacia la comprensión de cómo la inteligencia de alto nivel emerge de las particiones geométricas de bajo nivel, con trabajos futuros planeados para extender este marco a la intervención causal y el control de comportamiento (behavior steering).

El mapa que lo cambió todo

Estando dentro de la máquina

Cuando el modelo se confunde

Qué significa esto (y qué no)

La conclusión fundamental

Más como este