💬 NLP

Improving LLM Predictions via Inter-Layer Structural Encoders

Este trabajo presenta ILSE, un enfoque estructural basado en grafos de Cayley que integra representaciones de capas intermedias de modelos de lenguaje grandes para superar significativamente a los métodos tradicionales en diversas tareas, mejorando la precisión y permitiendo que modelos pequeños compitan con los más grandes.

Autores originales: Tom Ulanovski (Tel Aviv University), Eyal Blyachman (Tel Aviv University), Maya Bechler-Speicher (Meta)

Publicado 2026-03-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Tom Ulanovski (Tel Aviv University), Eyal Blyachman (Tel Aviv University), Maya Bechler-Speicher (Meta)

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que un Modelo de Lenguaje Grande (LLM), como los que usan para escribir correos o chatear, es como un gigantesco equipo de expertos trabajando en una torre de 30 pisos.

El Problema: ¿Quién tiene la respuesta?

Hasta ahora, la costumbre era simple: cuando el equipo necesitaba responder una pregunta, solo escuchaban al experto que estaba en el último piso (la capa final del modelo). Se asumía que, como era el último en hablar, tenía toda la información y la respuesta más inteligente.

Pero los investigadores de este paper descubrieron algo curioso:

Los pisos bajos (capas iniciales) son buenos para la gramática y las palabras sueltas.
Los pisos medios entienden la estructura de las frases.
Los pisos altos captan el significado profundo y las emociones.

El problema es que, dependiendo de la tarea, el experto más inteligente no siempre está en el último piso. A veces, la respuesta perfecta la tiene el experto del piso 15, y a veces la del piso 28. Si solo escuchas al último, te estás perdiendo información valiosa de los demás.

La Solución: ILSE (El "Director de Orquesta" Inteligente)

Los autores proponen una nueva técnica llamada ILSE (Codificadores Estructurados Inter-capas). Imagina que en lugar de ignorar a los otros pisos, creas un sistema de comunicación que conecta a todos los expertos de la torre al mismo tiempo para que colaboren antes de dar la respuesta final.

Aquí es donde entra la parte creativa y matemática de su solución:

1. El "Cayley-Encoder": El Mapa de la Ciudad Perfecta

Para conectar a todos estos expertos, necesitan un mapa de cómo se comunican entre ellos.

El error común: Si conectas a todos con todos (como una red social donde todos se siguen a todos), el mensaje se vuelve un caos y es difícil de procesar. Si los conectas en una línea recta (uno tras otro), la información tarda mucho en llegar al final.
La solución mágica (Cayley Graph): Los autores usan un tipo de mapa matemático muy especial (basado en grupos de números) que funciona como una ciudad con calles perfectamente diseñadas.
- En esta ciudad, no hay atascos.
- Puedes ir de cualquier punto A a cualquier punto B en muy pocos pasos.
- Es como si cada experto tuviera un "túnel de teletransporte" directo hacia los demás, sin perder tiempo ni información en el camino.

2. ¿Cómo funciona en la práctica?

Imagina que tienes un modelo pequeño (como un "cachorro" de 14 millones de parámetros) y uno gigante (un "elefante" de 8 mil millones).

Sin ILSE: El cachorro es lento y comete errores; el elefante es rápido y preciso.
Con ILSE: El cachorro usa este "sistema de túneles" para escuchar a todos sus expertos internos de forma eficiente. ¡Resultado! El cachorro empieza a comportarse casi tan bien como el elefante gigante, pero usando mucha menos energía y datos.

Los Resultados: ¿Qué lograron?

Los investigadores probaron esto en 13 tareas diferentes (desde detectar emociones en tweets hasta entender si dos frases significan lo mismo).

Mejora masiva: En muchos casos, la precisión mejoró hasta un 44%. Es como si un estudiante que sacaba un 60 en un examen, de repente sacara un 87 porque aprendió a estudiar con sus compañeros en lugar de solo memorizar la última página del libro.
Eficiencia de datos: Funcionó increíblemente bien incluso con muy pocos ejemplos (pocos "shots"). Con solo 32 ejemplos por tarea, ILSE superó a otros métodos que usaban miles de ejemplos. Es como aprender a cocinar un plato complejo probándolo solo unas pocas veces.
Pequeños vs. Grandes: Lograron que un modelo muy pequeño (14M de parámetros) rindiera tan bien como un modelo enorme (2.8B de parámetros) en ciertas tareas.

En resumen

Este paper nos dice que no debemos mirar solo la "punta del iceberg" (la última capa del modelo). La inteligencia real está distribuida en toda la estructura.

Al usar una estructura matemática inteligente (el Cayley-Encoder) para conectar todas las capas, logramos que los modelos de lenguaje:

Escuchen a todos sus "expertos" internos.
Aprendan más rápido con menos datos.
Y que los modelos pequeños puedan competir con los gigantes.

Es como pasar de tener un solo portavoz que grita la respuesta, a tener una reunión donde todos colaboran en una red perfecta para encontrar la solución óptima.

Resumen Técnico: ILSE (Inter-Layer Structural Encoders)

1. El Problema

La práctica estándar en los Modelos de Lenguaje Grande (LLM) es basar las predicciones para tareas específicas (como clasificación o cálculo de similitud) exclusivamente en las representaciones de la última capa del modelo. Sin embargo, investigaciones recientes han demostrado que:

Las capas intermedias contienen una cantidad sustancial de información relevante para la tarea, a veces superior a la de la capa final.
La capa óptima varía según la tarea específica.
Los métodos existentes para combinar capas (como sumas ponderadas lineales o mecanismos de atención anclados a la última capa) son limitados: o bien no capturan interacciones no lineales complejas, o bien dependen demasiado de la representación final, tratando las capas anteriores de manera desigual.
Modificar la arquitectura del Transformer desde cero para permitir una mejor mezcla de capas es computacionalmente costoso e inviable para modelos preentrenados congelados.

2. Metodología: ILSE y Cayley-Encoder

Los autores proponen ILSE (Inter-Layer Structural Encoders), un marco estructurado y eficiente para aprender una representación única combinando todas las capas internas de un LLM preentrenado (congelado).

Proceso General:

Extracción de Representaciones de Capa: Para cada capa $\ell$ del LLM, se calcula una única representación $z_\ell$ promediando (mean-pooling) las representaciones de todos los tokens de esa capa.
Codificación Estructural: Estas representaciones de capa se tratan como nodos en un grafo. Se aplica un codificador estructural para aprender cómo combinar esta información.
Tres Variantes de ILSE:
- Set-Encoder: Trata las capas como un conjunto sin estructura (grafo vacío) y utiliza DeepSets para aprender una función invariante a permutaciones.
- FC-Encoder (Fully Connected): Construye un grafo completamente conectado donde cada capa se comunica con todas las demás, utilizando Redes Neuronales de Grafos (GNN).
- Cayley-Encoder (La propuesta central): Utiliza Grafos de Cayley sobre el grupo lineal especial $SL(2, \mathbb{Z}_n)$ $S L (2, Z_{n})$ .
  - Fundamento Matemático: Los grafos de Cayley son regulares y tienen un diámetro logarítmico, lo que garantiza una propagación de información eficiente y sin "cuellos de botella" (bottleneck-free) entre cualquier par de nodos.
  - Mecanismo: Las representaciones de las capas se mapean a nodos del grafo de Cayley. Si el grafo tiene más nodos que capas, se añaden nodos virtuales (con vectores cero) para mantener la estructura del grupo. Se aplica un GNN (como GIN o GCN) para propagar mensajes a través de esta topología regular y obtener la representación final.

Ventaja Clave: ILSE no modifica el LLM base (los parámetros del modelo permanecen congelados). Solo entrena el codificador estructural y la cabeza de clasificación, añadiendo una cantidad mínima de parámetros (menos del 0.1% del tamaño del modelo base).

3. Contribuciones Clave

Propuesta de ILSE: Un enfoque riguroso y matemáticamente fundamentado para fusionar representaciones inter-capas sin reentrenar el modelo base.
Evaluación Exhaustiva: Validación en 13 tareas (5 de clasificación y 8 de similitud semántica) utilizando 9 LLMs preentrenados que van desde 14 millones hasta 8 mil millones de parámetros.
Eficiencia de Datos (Few-Shot): Demostración de que ILSE supera a los baselines con muy pocos ejemplos de entrenamiento (ej. 32 muestras por etiqueta), superando incluso a modelos entrenados con datos completos en algunos casos.
Escalabilidad: Evidencia de que ILSE permite que modelos pequeños (ej. 14M parámetros) alcancen un rendimiento comparable a modelos mucho más grandes (ej. 2.8B parámetros).
Innovación en Topología: Introducción de grafos de Cayley como una estructura regular óptima para la agregación de información en redes neuronales, evitando el sobreajuste estructural y mejorando el flujo de información.

4. Resultados Principales

Rendimiento Superior: ILSE superó consistentemente a todos los baselines (Última Capa, Mejor Capa Individual, Suma Ponderada, DWAtt, MLP) en todas las configuraciones de clasificación y en la mayoría de las tareas de similitud semántica (STS).
- Mejoras en Clasificación: Hasta un 44% de mejora en precisión (ej. en la tarea Emotion) y un promedio de +30% sobre la línea base de la última capa.
- Mejoras en Similitud (STS): Mejoras de hasta un 25% en métricas de similitud.
Dominio del Cayley-Encoder: En las tareas de similitud semántica (STS), el Cayley-Encoder fue el método más efectivo, obteniendo la puntuación más alta en 17 de 24 configuraciones. Esto sugiere que la conectividad regular y dispersa de los grafos de Cayley es ideal para la agregación de información semántica.
Eficiencia de Parámetros: Mientras que métodos como DWAtt añaden un 0.49% de parámetros adicionales, ILSE (Cayley-Encoder) añade solo un 0.10% (ej. ~395K parámetros para un modelo de 410M), logrando mejores resultados.
Rendimiento Few-Shot: Con solo 32 muestras por etiqueta, ILSE superó a los baselines entrenados con el conjunto de datos completo (aprox. 10,000 muestras) en la tarea Banking77.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

Revalorización de las Capas Intermedias: Confirma que la profundidad de los LMs contiene señales complementarias valiosas que a menudo se desperdician al usar solo la última capa.
Solución Práctica y Económica: Ofrece una forma de mejorar drásticamente el rendimiento de modelos LLM congelados (que son comunes en la industria) sin el costo computacional de reentrenar el modelo completo.
Inspiración Geométrica: La aplicación de grafos de Cayley (teoría de grupos) para resolver problemas de flujo de información en redes neuronales abre una nueva vía de investigación en la arquitectura de modelos, sugiriendo que la topología de la agregación es tan importante como el contenido de los datos.
Democratización de Modelos Grandes: Al permitir que modelos pequeños (14M-160M parámetros) compitan con modelos masivos (2.8B+), ILSE facilita el despliegue de LLMs eficientes en entornos con recursos limitados o restricciones de latencia.

En conclusión, ILSE demuestra que una agregación estructurada y matemáticamente fundamentada de las representaciones internas de un LLM puede desbloquear un potencial significativo, superando las limitaciones de los enfoques tradicionales de "última capa".