💬 NLP

Language models struggle with compartmentalization

Este documento demuestra que los modelos de lenguaje grandes a menudo no logran unificar presentaciones distintas de un mismo concepto latente (como diferentes idiomas o paradigmas de programación) en representaciones internas compartidas, lo que conduce a un aprendizaje redundante, una eficiencia de muestra reducida y una transición de fase en la efectividad de las intervenciones basada en el número de presentaciones del concepto.

Autores originales: Thomas Vincent Howe, David Wingate

Publicado 2026-05-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Thomas Vincent Howe, David Wingate

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: El Problema del "Universo Paralelo"

Imagina que tienes a un estudiante que es increíblemente inteligente pero tiene un hábito muy extraño: trata el mismo hecho exacto como si fueran dos secretos completamente diferentes y no relacionados, dependiendo de cómo esté escrito.

Si le dices "El cielo es azul" en inglés, lo anota en su "cuaderno de inglés".
Si le dices "El cielo es azul" en suajili, lo anota en un "cuaderno de suajili" separado.
Nunca se da cuenta de que estos dos cuadernos están hablando de lo mismo. No los cruzan. No dicen: "¡Oh, ya sé esto!".

Este artículo llama a este comportamiento Compartimentalización.

Los autores argumentan que los Modelos de Lenguaje Grandes (LLM) a menudo hacen esto. En lugar de construir un solo cerebro gigante y eficiente que entienda el concepto de "el cielo es azul", construyen cerebros separados y redundantes para cada idioma, código de programación o estilo de escritura que encuentran. Esto desperdicia su poder cerebral (capacidad) y los hace más lentos para aprender (ineficiencia de muestra).

El Experimento: El Truco del "Vocabulario Mágico"

Para probar que esto sucede, los investigadores crearon un experimento controlado. No solo usaron diferentes idiomas; usaron un "truco de magia" para obligar al modelo a ver los mismos datos como totalmente diferentes.

La Analogía:
Imagina una biblioteca donde todos los libros están escritos en el mismo idioma, pero el bibliotecario tiene una regla:

Si un libro está en el Estante Izquierdo, la palabra "Manzana" se escribe como "Manzana".
Si un libro está en el Estante Derecho, la palabra "Manzana" se escribe como "Banana" (aunque significa lo mismo).

Los investigadores crearon un modelo donde el "Estante Izquierdo" y el "Estante Derecho" tenían diccionarios completamente diferentes. Alimentaron al modelo con las mismas historias exactas, solo que con las palabras intercambiadas según el estante.

El Resultado:
El modelo no logró conectar los puntos. Aprendió la historia para el Estante Izquierdo y aprendió la historia para el Estante Derecho, pero los trató como dos tareas totalmente separadas.

El Costo: Como estaba aprendiendo lo mismo dos veces, necesitaba más datos para volverse bueno en ello (Ineficiencia de Muestra).
El Cuello de Botella: Como estaba almacenando dos copias del mismo conocimiento, se quedó sin "espacio cerebral" más rápido (Costo de Capacidad).

La Trampa de la "Traducción"

Los investigadores probaron una solución común: le dieron al modelo "pares de traducción". Le mostraron: "Aquí está 'Manzana' en el Estante Izquierdo, y aquí está 'Banana' en el Estante Derecho".

La Sorpresa:
El modelo aprendió la regla de traducción casi instantáneamente. Podía traducir perfectamente "Manzana" a "Banana". Sin embargo, esto no le ayudó a dejar de compartimentalizar. Siguió manteniendo los dos conceptos en cajas mentales separadas. Era como un estudiante que puede traducir una oración perfectamente pero aún no entiende que el significado subyacente es el mismo.

Descubrieron que esto solo comenzó a funcionar cuando le dieron al modelo cantidades masivas de datos de traducción, o cuando usaron una técnica de entrenamiento específica llamada "decaimiento de pesos" (que actúa como un suave empujón para simplificar el pensamiento del modelo).

La "Transición de Fase"

El artículo descubrió algo extraño llamado una Transición de Fase.
Piénsalo como un interruptor de luz.

Si tienes 2 compartimentos (Estantes Izquierdo/Derecho), el modelo se mantiene terco y no comparte conocimiento.
Si tienes 8 compartimentos, de repente, con suficientes datos de traducción, el modelo "salta" y comienza a compartir conocimiento a través de todos ellos.

Parece que el modelo solo se da cuenta de que debería unificar su cerebro cuando el problema se vuelve demasiado complicado para mantenerlo separado.

Ejemplos del Mundo Real

Los investigadores probaron esto en escenarios del mundo real para ver si ocurre fuera de su "biblioteca mágica":

Aprendizaje Multilingüe: Entrenaron modelos pequeños en inglés y chino. Descubrieron que, para modelos pequeños, el conocimiento en inglés y chino no se mezclaba realmente. El modelo estaba esencialmente "compartimentalizado", tratándolos como tareas separadas en lugar de una comprensión unificada.
Biografías vs. Preguntas y Respuestas: Le dieron al modelo hechos sobre personas en dos formatos:
- Formato A: Un párrafo de biografía ("Juan es un médico que vive en Nueva York").
- Formato B: Un par de pregunta y respuesta ("¿Quién es Juan? Un médico en Nueva York").
- El Desastre: Cuando el modelo intentó aprender ambos formatos a la vez, se peleaban entre sí. El modelo se confundió y funcionó peor que si solo hubiera aprendido un formato. Era como intentar sostener dos pesos pesados en una mano; se cancelaban mutuamente.

La Buena Noticia: Se Puede Corregir

El hallazgo más importante es que esto no es un defecto fundamental en cómo funciona la IA; es solo un mal hábito en el que cae el modelo.

Los investigadores mostraron que si copias manualmente el conocimiento de un compartimento a otro al principio (o después del entrenamiento), el modelo funciona perfectamente. Esto demuestra que el modelo es capaz de compartir conocimiento, pero el proceso de entrenamiento estándar (SGD) simplemente no descubre naturalmente cómo hacerlo de manera eficiente.

Resumen

El Problema: Los modelos de IA a menudo tratan el mismo hecho presentado de diferentes maneras (diferentes idiomas, diferentes formatos) como tareas completamente no relacionadas.
La Consecuencia: Esto desperdicia su memoria y los hace más lentos para aprender.
El Fracaso de la "Traducción": Simplemente mostrarle al modelo cómo traducir entre formatos no es suficiente para arreglar esto; necesitan muchos más datos o empujones específicos de entrenamiento para darse cuenta de que los conceptos son los mismos.
La Conclusión: Los modelos de IA están actualmente "compartimentalizados". Tienen habitaciones separadas en su cerebro para cada forma en que se puede decir un hecho, en lugar de una sola habitación grande donde todos los hechos viven juntos. El artículo sugiere que necesitamos mejores métodos de entrenamiento para ayudarlos a fusionar estas habitaciones.

Resumen Técnico: Los Modelos de Lenguaje Tienen Dificultades con la Compartmentalización

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) se entrenan con datos que contienen los mismos conceptos latentes presentados de múltiples formas distintas (por ejemplo, hechos en inglés y swahili, funciones en Python y Haskell, o proposiciones en lenguaje formal y natural). Aunque es deseable que los modelos reconozcan estas relaciones y compartan su fuerza estadística, los modelos de vanguardia a menudo fallan en hacerlo.

El artículo define la compartmentalización como un fenómeno donde un modelo trata $c$ presentaciones distintas de un proceso unificado de generación de datos latentes como tareas parcialmente o completamente separadas. En el peor de los casos, el modelo aprende representaciones internas paralelas para cada presentación sin amortizar la información entre ellas. Esto conduce a dos ineficiencias primarias:

Ineficiencia de Muestra: Cada presentación se beneficia solo de su propia porción de los datos. Si una presentación representa una fracción $\epsilon$ de los datos, el modelo puede requerir $1/\epsilon$ veces más muestras para aprender la estructura en comparación con una presentación unificada.
Competencia de Capacidad: Las representaciones redundantes consumen la capacidad finita del modelo. Un modelo compartmentalizado puede saturarse antes que un modelo cohesionado, estabilizándose en una pérdida de validación más alta incluso con datos aumentados.

Metodología

Para aislar y estudiar la compartmentalización, los autores proponen una construcción experimental de "peor caso" que elimina las señales estructurales naturales (como la superposición de subpalabras o la regularidad sintáctica) que normalmente fomentan el intercambio de representaciones.

El Truco de Tokenización

Los autores crean $c$ presentaciones distintas de datos estadísticamente idénticos modificando el tokenizador:

El tamaño de vocabulario base $V$ se aumenta en un factor de $c$ para crear un vocabulario conjunto de $cV$ tokens.
Para codificar datos en la presentación $j$ , los IDs de los tokens se desplazan en $jV$.
Esto asegura que el mismo texto subyacente esté representado por conjuntos de tokens completamente disjuntos entre compartimentos, obligando al modelo a aprender $c$ mapeos independientes a menos que descubra una estructura compartida.

Configuración Experimental

Modelos: Decodificadores estilo GPT entrenados en $\sim$ 131 mil millones de tokens de FineWeb.
Escalas: Los experimentos abarcan seis tamaños de modelo que van desde 1,1M hasta $\sim$ 1B de parámetros.
Entrenamiento: Los modelos se entrenan hasta la convergencia (sobreentrenados en relación con el óptimo Chinchilla) para observar los límites de capacidad.
Líneas Base: Se realizan comparaciones entre un modelo de un solo compartimento ( $c=1$ ) y modelos compartmentalizados ( $c \in \{2, \dots, 8\}$ ).

Contribuciones y Resultados Clave

1. Cuantificación de los Costos de la Compartmentalización

Los autores demuestran que la compartmentalización impone costos significativos que escalan con el número de compartimentos ( $c$ ):

Ralentización de la Eficiencia de Muestra: A medida que aumenta $c$ , el número de pasos de entrenamiento necesarios para alcanzar una pérdida de validación específica aumenta linealmente. Por ejemplo, en $c=8$ , el modelo requiere significativamente más pasos para alcanzar la misma pérdida que la línea base $c=1$ .
Costos de Capacidad: La pérdida final de validación se estabiliza en valores más altos a medida que aumenta $c$ , lo que indica que el modelo no puede representar los datos de manera tan eficiente cuando se le obliga a mantener representaciones disjuntas.

2. Existencia de Soluciones Unificadas

El artículo demuestra que la incapacidad de compartir fuerza no es una limitación fundamental de la arquitectura o los datos, sino más bien un fallo del proceso de optimización (SGD) para encontrar configuraciones específicas de parámetros:

Duplicación de Inicialización: Si el modelo se inicializa copiando las incrustaciones del vocabulario base en todos los $c$ compartimentos (en lugar de una inicialización aleatoria), logra una eficiencia de muestra que iguala la línea base $c=1$ .
Duplicación de Parámetros Post-hoc: Un modelo entrenado $c=1$ puede convertirse en un modelo de $c$ compartimentos duplicando sus incrustaciones aprendidas. Después de un breve pico inicial de pérdida, el modelo reanuda el entrenamiento en el plateau de rendimiento original sin sobrecarga de capacidad.
Implicación: Existen soluciones unificadas y son alcanzables, pero el entrenamiento estándar desde una inicialización aleatoria falla en descubrirlas.

3. Limitaciones de las Intervenciones Estándar

Los autores prueban estrategias comunes para fomentar el intercambio de representaciones y descubren que a menudo son insuficientes o exhiben transiciones de fase:

Datos Emparejados de "Traducción": Introducir datos donde el mismo texto aparece en dos compartimentos (emparejado con una tarea de traducción) no reduce la compartmentalización para valores pequeños de $c$ $c$ . El modelo aprende la tarea de traducción (predecir tokens en un compartimento dado el otro) hasta una pérdida cercana a cero, sin embargo, los compartimentos continúan compitiendo por la capacidad.
- Transición de Fase: Una reducción en la compartmentalización (rompiendo el plateau de pérdida) solo ocurre después de cruzar un umbral dependiente de $c$ (por ejemplo, en $c=8$ con altas proporciones de traducción).
- Decaimiento de Pesos: Un decaimiento de pesos agresivo acelera esta transición de fase, desplazando el umbral a valores más bajos de $c$ (por ejemplo, de $c=8$ hasta $c=6$ ).
Alineación Contrastiva (InfoNCE): Un objetivo auxiliar para alinear las representaciones de capas intermedias del mismo texto entre compartimentos muestra un comportamiento similar. No proporciona beneficios medibles para $c=2$ , beneficios moderados para $c=4$ , y una recuperación significativa del "impuesto de compartmentalización" para $c=6$ y $c=8$ .

4. Estudios de Caso en Datos Naturales

Los autores aplican su marco a escenarios del mundo real para validar el concepto:

Entrenamiento Multilingüe: El entrenamiento con datos de Wikipedia en inglés y chino muestra que los modelos pequeños (<1B de parámetros) exhiben una alta compartmentalización. El rendimiento de un modelo multilingüe con tokenizador compartido sigue de cerca una línea base "compartmentalizada" (usando tokenizadores disjuntos), lo que sugiere un bajo intercambio de información entre presentaciones en las etapas tempranas del entrenamiento.
Biografías Sintéticas vs. P&A: Una tarea sintética que presenta hechos como párrafos biográficos o pares de preguntas y respuestas revela una competencia destructiva de capacidad. Cuando se entrena conjuntamente con un tokenizador compartido, el modelo tiene un rendimiento pobre en ambos formatos en comparación con el entrenamiento en un solo formato. Sin embargo, cuando los formatos están compartmentalizados (tokenizadores disjuntos), el rendimiento en el formato biográfico mejora significativamente, lo que indica que el fallo del entrenamiento conjunto se debió a interferencias en los parámetros compartidos y no a una falta de capacidad.

Significado y Afirmaciones

El artículo argumenta que el objetivo de modelado de lenguaje puede solo unificar de manera inconsistente las representaciones entre distintas presentaciones del mismo concepto. Las conclusiones clave son:

La Compartmentalización es un Fenómeno Real: Los LLM a menudo fallan en compartir fuerza estadística entre presentaciones distintas (idiomas, formatos, código), lo que conduce a un aprendizaje redundante y capacidad desperdiciada.
Fallo de Optimización: El fallo en unificar representaciones no se debe a una incapacidad arquitectónica; existen soluciones unificadas y son alcanzables mediante inicializaciones específicas, sin embargo, el entrenamiento estándar con SGD no las encuentra.
Transiciones de Fase en el Aprendizaje: Las intervenciones como datos de traducción o pérdidas contrastivas no mejoran el rendimiento de forma lineal. En su lugar, exhiben transiciones de fase donde la efectividad solo emerge después de alcanzar cierto umbral de proporción de datos o complejidad del modelo ( $c$ ).
Implicaciones para la Eficiencia: Los hallazgos sugieren que los paradigmas de entrenamiento actuales pueden ser inherentemente ineficientes en cuanto a muestras y capacidad al tratar con datos multifacéticos, ya que los modelos pueden estar "aprendiendo unos de otros" mucho menos de lo asumido.

Los autores mantienen modestia, señalando que sus hallazgos se basan en modelos a pequeña escala y que la compartmentalización podría disminuir a escalas mayores, aunque la evidencia existente de modelos de vanguardia sugiere que el fenómeno persiste. Proponen su construcción basada en tokenizadores como una línea base para medir el intercambio de representaciones en futuras investigaciones.