💬 NLP

The Latin Substrate: How Language Models Represent and Mediate Script Choice

Este artículo revela que los modelos de lenguaje de gran tamaño median la elección de la escritura a través de representaciones latentes compartidas y mecanismos agnósticos al lenguaje, exhibiendo una asimetría estructural donde las escrituras no latinas son controladas por componentes específicos de las capas tardías, mientras que la escritura latina emerge como un sustrato predeterminado, difuso y privilegiado.

Autores originales: Daniil Gurgurov, Alan Saji, Katharina Trinley, Josef van Genabith, Simon Ostermann

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Daniil Gurgurov, Alan Saji, Katharina Trinley, Josef van Genabith, Simon Ostermann

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo de lenguaje de gran tamaño (LLM) como un traductor masivo y multilingüe que ha leído casi todo lo escrito en el mundo. Pero aquí está el giro: este traductor tiene un "idioma base" favorito para pensar: el alfabeto latino (el alfabeto A, B, C usado en inglés, francés, español, etc.).

Este artículo investiga cómo este traductor maneja los idiomas que utilizan diferentes sistemas de escritura, como el hindi (que usa Devanagari), el árabe o el ruso (Cirílico). Los investigadores descubrieron que el modelo no solo cambia entre estos alfabetos como si pulsara un interruptor de luz. En su lugar, sigue una calle de sentido único muy específica.

Aquí está el desglose de sus hallazgos utilizando analogías sencillas:

1. El "Intermediario Oculto" (Romanización Latente)

Cuando le pides al modelo que traduzca una palabra de malayalam (un idioma de la India) a Devanagari, podrías esperar que pase directamente de "malayalam" a "Devanagari".

Sin embargo, los investigadores observaron dentro de las capas del "cerebro" del modelo y descubrieron algo sorprendente. Antes de que el modelo escriba las letras finales en Devanagari, piensa brevemente en letras latinas.

La Analogía: Imagina que estás tratando de explicar una idea compleja a un amigo que habla un idioma diferente. No cambias de idioma instantáneamente; primero piensas el concepto en tu propio idioma, tal vez incluso lo escribes en tu propio alfabeto para asegurarte de tener el significado correcto, y luego lo traduces al alfabeto de tu amigo.
El Hallazgo: El modelo hace esto automáticamente. Convierte la entrada en una versión "latinizada" en sus capas intermedias antes de producir finalmente el alfabeto de destino. Trata al latín como un puente universal.

2. La "Calle de un Solo Sentido" (Asimetría Direccional)

El artículo encontró un desequilibrio importante en cómo el modelo maneja estos alfabetos.

Ir hacia el Latín (No-Latín → Latín): Esto es fácil y directo. El modelo tiene una "puerta" o interruptor compacto y específico que se activa para producir texto latino. Es como una salida dedicada en una autopista.
Ir hacia el No-Latín (Latín → No-Latín): Esto es desordenado y difuso. Para producir hindi, árabe o ruso, el modelo no utiliza un solo interruptor. En su lugar, depende de cientos de señales diminutas y débiles dispersas por toda la red trabajando juntas.
La Analogía: Piensa en el cerebro del modelo como una ciudad.
- El Alfabeto Latino es el Centro de la Ciudad. Es enorme, abierto y está en todas partes. Llegar al centro de la ciudad es fácil porque puedes llegar desde cualquier dirección.
- Los Alfabetos No-Latinos son Barrios Especializados. Para llegar allí, necesitas un túnel específico y estrecho (una "puerta"). Si intentas salir del centro de la ciudad para ir a un barrio, tienes que navegar por un camino complejo y sinuoso que depende de muchos caminos diferentes. Si bloqueas un solo camino, es posible que aún llegues, pero si bloqueas el túnel específico, no podrás entrar en absoluto.

3. El "Volante" (Control del Alfabeto)

Los investigadores intentaron "dirigir" al modelo usando matemáticas. Calcularon un vector (una dirección) simple que representa "Cambiar a Latín" o "Cambiar a Alfabeto Nativo".

El Resultado: Descubrieron que podían obligar al modelo a producir texto latino o un alfabeto no latino específico simplemente dando un pequeño empujón a su matemática interna en la dirección correcta.
El Probleo: El "empujón" funcionó perfectamente para convertir cualquier texto no latino en latino. Pero convertir texto latino en un alfabeto no latino específico era más difícil y menos estable. Es como tener un volante que gira el coche a la izquierda (hacia el latín) de forma muy fluida, pero girar a la derecha (hacia un alfabeto no latino específico) requiere un empuje mucho más fuerte y preciso.

4. Los "Guardianes Universales" (Localización Mecanicista)

La parte más emocionante es que los investigadores encontraron los "interruptores" exactos (cabezales de atención específicos) responsables de esto.

El Hallazgo: Encontraron un pequeño grupo de unos 5 "trabajadores" específicos (neuronas/cabezales) en lo profundo del modelo que actúan como los guardianes de los alfabetos no latinos.
La Magia: Estos trabajadores son agnósticos al idioma. Si tomas los "guardianes" entrenados en hindi y árabe y los usas en ruso, japonés o griego, ¡siguen funcionando! No les importa qué idioma no latino sea; simplemente saben cómo cambiar el modelo del "modo latín" al "modo no latino".
La Analogía: Imagina a un guardia de seguridad en un club. Al guardia no le importa si llevas un sari, un kimono o un kilt. Solo revisa tu identificación para ver si tienes permitido entrar a la "Sección VIP No Latina". Una vez dentro, el guardia te deja pasar sin importar tu vestimenta específica.

Resumen

El artículo concluye que los Modelos de Lenguaje de Gran Tamaño tienen un sesgo privilegiado hacia el alfabeto latino.

El Latín es el "hogar" predeterminado y cómodo del modelo, donde la información se almacena y se procesa de manera amplia.
Los alfabetos no latinos se acceden a través de una "puerta" especializada y compacta que se asienta sobre este fundamento latino.

El modelo no trata a todos los alfabetos como iguales; trata al latín como el sustrato universal (el fundamento) y construye todo lo demás encima de él utilizando mecanismos específicos y localizados.

Resumen Técnico: El Sustrato Latino en los Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

Muchos idiomas se escriben en múltiples sistemas de escritura (por ejemplo, el hindi en devanagari y latín, el serbio en cirílico y latín). Aunque los Modelos de Lenguaje de Gran Escala (LLM) multilingües pueden generar contenido lingüístico equivalente a través de estos distintos sistemas ortográficos, los mecanismos internos que median la variación de la escritura siguen siendo poco comprendidos. Trabajos previos sugieren que las representaciones se comparten parcialmente entre escrituras, con fenómenos como la "romanización latente" observados donde las capas intermedias representan transitoriamente la información en forma latina. Sin embargo, no está claro cómo los LLM dirigen la información entre escrituras, si dependen de representaciones latentes compartidas y si componentes arquitectónicos específicos son responsables de la selección de la escritura.

Metodología

Los autores emplean un enfoque multifacético que combina el análisis de representación, la dirección lineal (linear steering) y la localización mecanística a través de cuatro LLM de código abierto ajustados para instrucciones (Llama-3.1-8B/70B y Aya-Expanse-8B/32B), con un enfoque específico en el hindi y el árabe.

Análisis de salida por capa (Logit Lens): Utilizando la técnica logit lens, los autores decodifican las activaciones de las capas intermedias para observar la distribución del siguiente token durante las tareas de transliteración. Cuantifican la "fracción latente" —la proporción de pasos de tiempo donde los sub-tokens romanizados aparecen en la predicción del top-1— para detectar representaciones latinas intermedias.
Análisis de Representación:
- Separabilidad: Miden la separabilidad de la escritura mediante sondas lineales, similitud de coseno y razones de discriminante de Fisher sobre los estados ocultos de media agrupada (mean-pooled) de oraciones nativas frente a romanizadas.
- Dirección (Steering): Construyen vectores de dirección lineal ( $v_{nat2lat}$ y $v_{lat2nat}$ ) basados en la diferencia en las representaciones ocultas medias entre las clases de escritura. Estos vectores se aplican al flujo residual para probar si la identidad de la escritura puede invertirse preservando la semántica.
- Generalización: Los vectores de dirección derivados del hindi y el árabe se aplican a idiomas no vistos (por ejemplo, ruso, japonés, tailandés) para probar ejes de escritura agnósticos al idioma.
Análisis Mecanístico (Parcheo de Activaciones): Los autores utilizan el parcheo de activaciones contrafácticas para localizar cabezales de atención específicos que median causalmente la elección de la escritura. Al intercambiar activaciones entre ejecuciones nativas y latinas, miden el cambio en los log-odds de producir tokens de escritura nativa frente a tokens de escritura latina. Validan estos hallazgos mediante intervenciones dirigidas (anulación o parcheo de subconjuntos de cabezales específicos) en prompts de control.

Resultados Clave

1. Romanización Latente

Durante las tareas de transliteración, los modelos exhiben consistentemente una romanización latente. En las capas medias a superiores (por ejemplo, capas 20–40 en Llama-3.1-8B), la predicción interna del modelo se alinea transitoriamente con sub-tokens romanizados antes de comprometerse con la escritura objetivo final. Esto sugiere que la escritura latina actúa como un puente de representación intermedia compartida durante la transformación de la escritura.

2. Asimetría Representacional y Dirección (Steering)

Separabilidad: La información de la escritura se vuelve cada vez más separable a través de las capas, con la emergencia de clústeres distintos para diferentes escrituras principalmente en el tercio superior de la red.
Dirección Lineal (Steering): Una simple dirección de dirección lineal puede invertir la escritura de salida del modelo mientras preserva ampliamente el contenido semántico.
Asimetría Direccional: El efecto de dirección es asimétrico. Convertir de no-latino a latino ($lat2nat$) es altamente confiable y requiere una menor fuerza de intervención. Por el contrario, convertir de latino a no-latino ($nat2lat$) es menos estable y a menudo resulta en salidas que derivan hacia varias escrituras no latinas en lugar de una única escritura objetivo. Esto implica que el latín ocupa una región "difusa" en el espacio de representación, mientras que las escrituras no latinas forman clústeres más apretados y distintos.

3. Localización Mecanística de una "Puerta de Mediación de Escritura"

Puerta No Latina Compacta: El análisis causal revela que la generación de escrituras no latinas está mediada por un conjunto pequeño y compacto de cabezales de atención de capas tardías (por ejemplo, L30H20, L30H23, L26H7 en Llama-3.1-8B). El parcheo de tan solo cinco de estos cabezales es suficiente para invertir la escritura de salida de latino a una escritura nativa (por ejemplo, devanagari) con altas tasas de éxito.
Generación Latina Difusa: En contraste, la generación de la escritura latina no depende de un circuito específico y localizado. En su lugar, emerge de contribuciones difusas y de baja magnitud de muchos cabezales. Eliminar la "puerta no latina" provoca que el modelo recurra a la salida latina para una parte de los prompts, lo que sugiere que el latín es el sustrato de reserva del modelo.
Agnosticismo Lingüístico: Los cabezales identificados se transfieren a través de idiomas y sistemas de escritura no relacionados. Los cabezales identificados usando hindi o árabe redirigen con éxito las escrituras de salida en ruso (cirílico), maratí (devanagari), urdu (perso-árabe), griego y japonés, indicando un mecanismo de enrutamiento de escritura agnóstico al idioma.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer análisis unificado de cómo los LLM representan y median internamente múltiples escrituras. El hallazgo central es que la escritura latina funciona como un sustrato privilegiado para las representaciones de superficie del lenguaje en los LLM.

Sustrato Privilegiado: El modelo organiza la variación de la escritura alrededor de representaciones latentes compartidas alineadas con el latín. Las salidas no latinas se producen mediante un mecanismo de enrutamiento dedicado, identificable y compacto (la "puerta"), mientras que las salidas latinas emergen de las vías de procesamiento por defecto y difusas de la red.
Perspectiva Mecanística: El trabajo identifica un conjunto específico y transferible de cabezales de atención que controlan causalmente la elección de la escritura, demostrando que el enrutamiento de la escritura se implementa mediante componentes agnósticos al idioma en lugar de vías de procesamiento completamente separadas para cada escritura.
Implicaciones para la Comprensión: Estos hallazgos sugieren que la dominancia de la escritura latina en los datos de preentrenamiento ha moldeado la geometría interna de los LLM, creando una arquitectura asimétrica donde el latín es el "estado base" y las escrituras no latinas requieren una activación de puerta localizada y activa para ser generadas.

Los autores señalan limitaciones, incluyendo el enfoque en modelos de código abierto específicos e idiomas con convenciones de romanización establecidas, reconociendo que los modelos entrenados con distribuciones de datos diferentes o los modelos cerrados podrían exhibir mecanismos cualitativamente distintos.