Learning is Forgetting: LLM Training As Lossy Compression

1. El Problema

A pesar del éxito de los Modelos de Lenguaje Grandes (LLM), nuestra comprensión de cómo están estructurados sus espacios representacionales es limitada. Esto dificulta interpretar qué y cómo aprenden, así como relacionar su aprendizaje con el humano. La interpretación actual a menudo se centra en circuitos individuales o cabezas de atención, lo cual es insuficiente para entender sistemas distribuidos a gran escala. El artículo plantea la necesidad de un marco teórico unificado que explique la dinámica de aprendizaje de los LLMs y cómo la estructura de sus representaciones se relaciona con el rendimiento en tareas posteriores.

2. Metodología

Los autores proponen enmarcar el entrenamiento de LLMs como un proceso de compresión con pérdida (lossy compression) bajo la teoría de la Información y el Cuello de Botella de Información (Information Bottleneck - IB).

• Marco Teórico (Teoría de la Tasa-Distorsión):

  • Se modela el entrenamiento como la búsqueda de una representación $Z$ que preserve la información de la entrada $X$ (complejidad) que sea relevante para predecir la salida $Y$ (expresividad), descartando el ruido irrelevante.
  • El objetivo es acercarse al límite del Cuello de Botella de Información, donde la representación es óptimamente comprimida: $I(X; Z)$ (complejidad) se minimiza manteniendo $I(Y; Z)$ (expresividad) máxima.
  • La trayectoria de entrenamiento predicha por la teoría IB tiene dos fases: primero, una fase de ajuste (aumento de $I(Y; Z)$) y luego una fase de compresión (disminución de $I(X; Z)$).

• Estimación de Entropía (Soft Entropy Estimator):

  • Calcular la entropía de Shannon en espacios de alta dimensión (como las capas de un LLM) es computacionalmente intratable con métodos tradicionales de discretización.
  • Los autores utilizan un estimador de entropía suave (basado en Conklin, 2025). Este método:
    1. Normaliza las representaciones $Z$ en una esfera unitaria.
    2. Muestrea $n$ puntos de anclaje uniformemente en la esfera.
    3. Asigna "suavemente" cada embedding a estos puntos mediante una función softmax basada en la similitud coseno.
    4. Calcula la entropía de Shannon sobre esta distribución categórica suavizada.
  • Esto permite estimar la información mutua $I(X; Z)$ y $I(Y; Z)$ de manera eficiente y diferenciable a escala de LLMs.

• Diseño Experimental:

  • Modelos: Se analizan modelos de la familia OLMo2 (1B, 7B, 32B) con checkpoints intermedios de pre-entrenamiento, y una amplia gama de modelos de pesos abiertos (75 modelos en total) de 6 familias diferentes (Llama, Gemma, Qwen, etc.).
  • Datos: Se utiliza el conjunto de datos C4 (crawling de internet) para el análisis de compresión general y Tulu para información de preferencias.
  • Contexto: Se emplea una estrategia de back-off (n-gramas: token, bigrama, trigramas, quadgramas) para estimar la información mutua condicionada al contexto.
  • Métricas de Rendimiento: Se correlacionan las métricas de compresión con el rendimiento en 6 benchmarks (MMLU Pro, BBH, Math LVL5, IFEval, GPQA, MuSR).

3. Contribuciones Clave

1. Validación Empírica a Gran Escala: Demuestran que los LLMs siguen la trayectoria teórica del Cuello de Botella de Información durante el pre-entrenamiento, pasando de una fase de expansión de representaciones a una fase de compresión óptima.
2. Método de Estimación Escalable: Introducen el uso del estimador de entropía suave para analizar la dinámica de información en modelos masivos, superando las limitaciones de memoria de métodos anteriores.
3. Relación entre Compresión y Rendimiento: Establecen que la optimalidad de la compresión (qué tan cerca está el modelo del límite de IB) es un predictor significativo del rendimiento en benchmarks downstream.
4. Distinción de Información: Cuantifican cómo los modelos codifican información a diferentes niveles de contexto (local vs. global) y cómo la información de preferencia humana se añade en fases posteriores (post-entrenamiento).

4. Resultados Principales

• Dinámica de Dos Fases: Los modelos OLMo2 (especialmente los de 7B y 32B parámetros) muestran claramente la fase de ajuste seguida de una fase de compresión donde la complejidad ($I(X; Z)$) disminuye mientras se mantiene la expresividad, acercándose al límite óptimo.
• Efecto de la Escala:
  • Los modelos grandes (7B, 32B) logran una compresión óptima y convergen cerca del límite de IB.
  • Los modelos pequeños (1B) luchan para lograr una compresión significativa en la segunda fase; oscilan y se alejan del límite, sugiriendo que se necesita un umbral de parámetros para comprimir datos complejos de manera efectiva.
• Convergencia Universal: Modelos de diferentes familias y metodologías de entrenamiento convergen hacia el mismo punto en el plano de información, sugiriendo que la compresión óptima es una propiedad fundamental de los modelos entrenados con estos objetivos.
• Contexto vs. Token:
  • La información en los modelos está dominada por el contexto local (tokens a quadgramas).
  • Los modelos de mejor rendimiento tienden a tener menos información de nivel de token y más información contextual (bigramas, trigramas), lo que indica una mejor representación del contexto.
• Predicción de Rendimiento:
  • La optimalidad de la compresión (ratio de expresividad/complejidad) correlaciona fuertemente con el rendimiento en tareas de razonamiento y conocimiento factual ($r = 0.52$).
  • La cantidad de información de preferencia ($I(Z; \text{preferred})$) es un predictor aún más fuerte del rendimiento general ($r = 0.76$), especialmente para la seguimiento de instrucciones.
• Fases de Entrenamiento: El pre-entrenamiento establece la compresión óptima para la predicción de secuencias, mientras que el post-entrenamiento (RLHF/DPO) inyecta información de preferencia sin alterar significativamente la complejidad estructural base.

5. Significado e Impacto

Este trabajo ofrece un cambio de paradigma en la interpretación de los LLMs:

• Unificación Teórica: Conecta el aprendizaje profundo con teorías clásicas de la información y la compresión, proporcionando una base teórica sólida para entender el "olvido" selectivo como un mecanismo de aprendizaje.
• Herramienta de Diagnóstico: Proporciona una métrica (optimalidad de compresión) que puede predecir el rendimiento de un modelo sin necesidad de ejecutar costosos benchmarks, utilizando solo una pasada hacia adelante (forward pass) sobre datos generales.
• Implicaciones para el Entrenamiento: Sugiere que el pre-entrenamiento debe continuarse hasta que la distancia al límite de IB se estabilice (criterio de parada) y que el post-entrenamiento es crucial para alinear la información preservada con las preferencias humanas.
• Escalabilidad: Demuestra que es posible analizar la estructura representacional de modelos masivos de manera eficiente, abriendo la puerta a nuevas investigaciones sobre la "caja negra" de los LLMs sin depender de la interpretación mecánica de circuitos individuales.

En resumen, el paper argumenta que "aprender es olvidar": los LLMs exitosos son aquellos que logran comprimir sus datos de entrenamiento de manera óptima, reteniendo solo la información relevante para la predicción y la alineación, y descartando el ruido.