💬 NLP

Multilinguality of Large Language Models From a Structural Perspective

Este artículo investiga la multilingüidad de los modelos de lenguaje extensos a través del análisis estructural representacional, revelando que las lenguas de bajos recursos son estructuralmente más distintas del inglés que las lenguas de altos y medios recursos, y que el postentrenamiento específico de cada lengua modifica estas estructuras mientras mantiene las relaciones interlingüísticas.

Autores originales: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Publicado 2026-06-02

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Modelo de Lenguaje Extenso (LLM) como una enorme biblioteca de varios pisos donde cada libro representa un idioma diferente. Durante mucho tiempo, los investigadores han intentado comprender cómo se organiza esta biblioteca. La mayoría de los estudios previos observaban la biblioteca examinando las palabras (o "tokens") individuales en los estantes, preguntándose: "¿Qué tan similar es la palabra 'cat' en inglés a la palabra 'cat' en japonés?".

Sin embargo, este artículo adopta un enfoque diferente. En lugar de mirar palabras individuales, los autores observan la estructura completa de la biblioteca misma. Se preguntan: "¿Cómo está organizado todo el edificio? ¿La sección de inglés y la sección de japonés parecen pertenecer al mismo estilo arquitectónico, o están construidas con planos completamente diferentes?".

Aquí hay un desgido de sus hallazgos utilizando analogías simples:

1. El problema de solo mirar las palabras

Piensa en un tokenizador (la herramienta que divide el texto en palabras) como un par de tijeras. En inglés, las tijeras cortan el texto en piezas pequeñas y ordenadas. En otros idiomas, las tijeras podrían cortar el texto en trozos enormes o en fragmentos diminutos y desmenuzados. Debido a que las "piezas" son de diferentes tamaños, comparar palabra por palabra es como intentar comparar una pila de ladrillos de Lego con una pila de arena. Podrías ver que ambos son "cosas", pero te perderías la visión general de cómo están construidos.

2. La nueva herramienta: "Radiografía Estructural"

Los autores utilizaron una herramienta llamada STRUCTLENS. Imagina que esto es una máquina de rayos X que no solo mira los ladrillos, sino que escanea todo el esqueleto de la biblioteca. Construye un "árbol genealógico" para cada idioma, mostrando cómo las diferentes partes de una oración se conectan entre sí a medida que el modelo las procesa.

Ellos midieron la distancia entre estos árboles genealógicos. Si el árbol del inglés se ve muy similar al del alemán, la distancia es pequeña. Si el árbol del inglés no se parece en nada al de un idioma de bajos recursos (como el jinghpaw), la distancia es enorme.

3. Hallazgos clave

La división entre lenguas "Ricas" y "Pobres"
El estudio encontró una división clara en cómo se organiza la biblioteca:

Idiomas de altos y medios recursos (Los vecindarios "ricos"): Idiomas como el alemán, el japonés, el chino y el indonesio son como vecindarios bien conectados. Aunque son diferentes, la estructura interna de la biblioteca los trata de manera muy similar. Comparten un plano arquitectónico parecido.
Idiomas de bajos recursos (Las "aldeas remotas"): Los idiomas con menos datos disponibles (como el aranés, el guarani y el jinghpaw) son estructuralmente muy diferentes al inglés. Son como aldeas remotas con un estilo de construcción completamente distinto. Incluso si el modelo puede "leerlos", la forma interna en que los procesa es fundamentalmente distinta a cómo procesa el inglés.

La trampa de la "Similitud de Coseno"
Los autores descubrieron que una medida común utilizada por los científicos (llamada "Similitud de Coseno") es como mirar el color promedio de una pintura.

Si mezclas pintura roja y azul, el promedio podría parecer púrpura.
Si mezclas rojo y azul en una proporción diferente, el promedio también podría parecer púrpura.
La trampa: La visión "promedio" del modelo de inglés y japonés podría parecer muy similar (alta similitud de coseno), lo que hace parecer que el modelo los entiende con la misma eficacia.
La realidad: La "Distancia Estructural" (la radiografía) revela que el patrón de la pintura es totalmente diferente. El modelo está organizando las palabras japonesas en un patrón interno completamente distinto al de las palabras inglesas, incluso si el "promedio" parece el mismo.

El efecto del "Entrenamiento Especializado" (Post-entrenamiento)
Los investigadores también observaron qué sucede cuando tomas un modelo general y le das entrenamiento adicional específico para un idioma (como el japonés).

La analogía: Imagina a un contratista general que construye casas para todos. Si lo contratas para construir un tipo específico de casa japonesa, se vuelve muy bueno en los detalles de esa casa (el techo, las puertas correderas).
El hallazgo: El modelo mejora en japonés, y la estructura interna de la sección japonesa se vuelve más refinada y única. Sin embargo, la distancia entre la sección japonesa y la sección de inglés permanece exactamente igual. El modelo no cambió la forma en que relaciona el japonés con el inglés; simplemente pulió la sección japonesa en sí misma.

Resumen

En resumen, este artículo argumenta que para entender realmente cómo la IA maneja diferentes idiomas, no podemos limitarnos a contar palabras o mirar similitudes promedio. Tenemos que mirar el esqueleto estructural de cómo piensa la IA.

Descubrieron que:

Los idiomas familiares (muchos datos) comparten una "arquitectura" interna similar.
Los idiomas no familiares (pocos datos) tienen una arquitectura interna totalmente diferente, incluso si el modelo puede técnicamente leerlos.
El entrenamiento especializado mejora la estructura interna de un idioma específico, pero no cambia necesariamente cómo ese idioma se relaciona con otros en la mente del modelo.

Esto ayuda a comprender que, aunque los modelos de IA se están volviendo multilingües, siguen tratando a los idiomas "ricos" y "pobres" de maneras fundamentalmente distintas en lo más profundo de sus "cerebros".

Resumen Técnico: Multilingüismo de los Modelos de Lenguaje Extensos desde una Perspectiva Estructural

Planteamiento del Problema

Aunque los Modelos de Lenguaje Extensos (LLM) han demostrado capacidades multilingües mediante el preentrenamiento en corpus multilingües y el postentrenamiento continuo, los análisis existentes de este multilingüismo están predominantemente limitados al nivel del token (o subpalabra). Trabajos previos han utilizado herramientas como Logit Lens para interpretar los estados ocultos como símbolos o han analizado la geometría de las representaciones de los tokens. Sin embargo, este enfoque centrado en el token no logra capturar las propiedades estructurales inherentes del lenguaje, tales como las diversas características morfosintácticas. Además, debido a que los tokenizadores varían significamente entre lenguas, la granularidad semántica de las unidades mínimas procesadas por los LLM es inconsistente, lo que limita la capacidad del análisis a nivel de token para comprender de manera holística cómo los LLM representan y procesan múltiples idiomas.

Metodología

Para abordar estas limitaciones, este estudio propone una perspectiva estructural sobre las representaciones multilingües, yendo más allá del análisis a nivel de token para examinar la organización de secuencias de entrada completas.

1. Análisis Estructural mediante STRUCTLENS
Los autores utilizan STRUCTLENS (Sakajo et al., 2026), un método que deriva estructuras de árboles a partir de distancias L2 pareadas entre las representaciones de los tokens dentro de las corrientes residuales de los modelos Transformer.

Construcción de Árboles de Expansión: Para cada capa $\ell$ y cada idioma, el método construye un árbol de expansión máxima basado en la similitud entre tokens. La matriz de adyacencia $A$ se define por el inverso de la distancia L2 entre los estados ocultos $h^{(\ell)}_i$ y $h^{(\ell)}_j$ .
Medición de la Distancia Estructural: Para comparar las estructuras internas de diferentes idiomas, el estudio calcula la Distancia de Edición de Árboles (TED) entre los árboles de expansión de dos idiomas. Esta distancia se normaliza por la longitud de la entrada mayor para asegurar una comparación justa entre idiomas con diferentes longitudes de secuencia de tokens. El costo de recolección de etiquetas se establece en cero para centrarse estrictamente en las diferencias estructurales en lugar de las discrepancias léxicas.

2. Configuración Experimental

Modelos: El estudio evalúa tanto modelos preentrenados multilingües (Gemma3 4B PT, Qwen3 8B Base) como un modelo monolingüe centrado en el inglés (Olmo3 7B Base). También incluye modelos postentrenados específicos de un idioma (Qwen3 Swallow 8B CPT para japonés) para analizar los efectos del preentrenamiento continuo.
Idiomas: Se selecciona un conjunto diverso de idiomas, incluyendo lenguas de recursos altos/medios (inglés, alemán, japonés, chino, indonesio) y de bajos recursos (aranés, guaraní, jinghpaw).
Datasets: Se utilizan pares de frases de traducción paralela de FLORES+ y datos correspondientes de jinghpaw.
Métricas Comparativas: Para contextualizar los hallazgos estructurales, el estudio también mide métricas no estructurales: Perplejidad, rendimiento de Traducción Automática (BLEU, chrF, TER), Similitud de Coseno de las representaciones medias y distancia L2.

Contribuciones Clave y Resultados

1. La Distancia Estructural Revela la Agrupación Basada en Recursos
El estudio encuentra que la distancia estructural (TED) distingue los idiomas basándose en la disponibilidad de recursos de una manera que la similitud de coseno no logra.

Modelos Multilingües: En los modelos multilingües (Gemma3, Qwen3), los idiomas de altos y medios recursos forman un grupo con estructuras internas relativamente uniformes y una baja distancia estructural respecto al inglés. En contraste, los idiomas de bajos recursos exhiben distancias estructurales significativamente mayores respecto al inglés.
Modelos Monolingües: El modelo monolingüe Olmo3 7B Base muestra una separación distintiva entre el inglés y todos los demás idiomas, con altas distancias estructurales en general, lo que refleja su entrenamiento centrado en el inglés.
Contraste con la Similitud de Coseno: Mientras que la similitud de coseno entre el inglés y otros idiomas permanece alta y uniforme a través de las capas en los modelos multilingües (sugiriendo centroides semánticos abstractos alineados), la distancia estructural revela diferencias relacionales internas significativas. Esto indica que, aunque el "centro" del espacio de representación puede estar alineado, la topología interna de las relaciones entre tokens difiere según la familiaridad con el idioma.

2. Impacto del Postentrenamiento Específico de un Idioma
El estudio investiga cómo el postentrenamiento específico de un idioma (preentrenamiento continuo en datos del idioma objetivo) altera las estructuras del modelo.

Diferenciación del Idioma Objetivo: El postentrenamiento en japonés (Qwen3 Swallow 8B CPT) altera significativamente la distancia estructural interna del japonés, haciéndolo distinto de su estado preentrenado.
Preservación de las Relaciones Interlingüísticas: Crucialmente, mientras que la estructura interna del idioma objetivo cambia, la distancia estructural entre idiomas (por ejemplo, entre inglés y japonés, o inglés y chino) permanece mayormente invariante. Esto sugiere que el postentrenamiento refina la organización interna específica del idioma sin romper las relaciones estructurales más amplias establecidas durante el preentrenamiento.

3. Influencia de las Características Lingüísticas
Entre los idiomas de bajos recursos, la distancia estructural se correlaciona con la similitud lingüística con el inglés. El aranés, que es tipológicamente más cercano al inglés, exhibe una menor distancia estructural que el jinghpaw, que es más distante. Esto sugiere que la similitud lingüística facilita la alineación estructural en el espacio de representación, incluso para idiomas de bajos recursos.

Significado y Reivindicaciones

El artículo sostiene que una perspectiva de estructura de representación proporciona medidas distintas de similitud lingüística que no son capturadas por las métricas convencionales de nivel de token o basadas en centroides.

Visión Holística: Los hallazgos demuestran que los LLM organizan las secuencias de entrada de acuerdo con patrones estructurales específicos de cada idioma que evolucionan a través de las capas Transformer.
Familiaridad vs. Desfamiliaridad: La distancia estructural sirve como una métrica de la "familiaridad" del modelo. Los modelos multilingües exhiben una alta similitud estructural entre idiomas familiares (de altos recursos) pero divergen significativamente para idiomas no familiares (de bajos recursos).
Mecanismo de Adaptación: El estudio revela que el postentrenamiento específico de un idioma opera modificando la organización estructural interna del idioma objetivo mientras preserva las relaciones estructurales globales entre los idiomas.

Los autores concluyen que esta perspectiva estructural es esencial para comprender cómo los LLM procesan múltiples idiomas, destacando que los modelos distinguen entre idiomas familiares y no familiares a través de su organización estructural interna, y que el postentrenamiento permite la mejora del rendimiento en idiomas específicos sin borrar las relaciones multilingües aprendidas durante el preentrenamiento.