Same question, different history: language, national identity, and credit in large language models

Resumen Técnico: "La misma pregunta, diferente historia: lenguaje, identidad nacional y crédito en los modelos de lenguaje de gran tamaño"

Planteamiento del problema
El artículo investiga cómo los Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés) gestionan las atribuciones históricas en disputa, específicamente en lo que respecta a la invención de tecnologías y descubrimientos científicos. Mientras que las sociedades humanas suelen mantener narrativas nacionales contrapuestas sobre "quién inventó X" (por ejemplo, Popov frente a Marconi respecto a la radio), no está claro cómo los LLM, que sirven como puerta de acceso predeterminada a la información, presentan estas disputas. Los autores postulan que los LLM no son sistemas de recuperación neutrales, sino participantes activos en la reproducción de la memoria colectiva. La pregunta central de investigación es si el lenguaje de la consulta de un usuario altera sistemáticamente qué reclamante nacional hace que el modelo lo presente, actuando efectivamente como un "interruptor" que activa diferentes versiones nacionales de la misma historia. Este fenómeno se enmarca como una forma computacional de "nacionalismo banal", donde la memoria colectiva se activa de manera diferencial a través de las comunidades lingüísticas.

Metodología
El estudio empleó una auditoría a gran escala de 11 LLM ampliamente utilizados (desarrollados en China, EE. UU. y Europa) a través de 21 disputas documentadas de invención/descubrimiento que involucraban a reclamantes de diferentes naciones.

• Recopilación de datos: Los investigadores generaron 1,380 prompts fijos en 12 idiomas (incluyendo danés, alemán, inglés, francés, hindi, italiano, coreano, portugués, rumano, ruso, sueco y chino). Los prompts se presentaron en dos formas: una pregunta abierta ("¿Quién inventó X?") y una pregunta contrastiva ("¿Quién inventó X, A o B?").
• Volumen: Cada prompt fue consultado cinco veces por modelo, lo que produjo aproximadamente 75,896 respuestas completadas.
• Variables:
  • Lenguaje asociado al reclamante: El idioma dominante de la nación más estrechamente vinculada a un reclamante específico (por ejemplo, el ruso para Popov, el chino para Bi Sheng).
  • Conmemoración: Un recuento (0–8) de marcadores institucionales (festividades, billetes, estatuas, inclusión en el currículo escolar) para cada reclamante.
  • Rango de poder: Una medida relativa de la prominencia de un reclamante dentro de una disputa específica.
• Análisis y codificación: Las respuestas fueron codificadas por anotadores de LLM independientes (utilizando modelos distintos a los generadores para evitar la auto-preferencia) en tres categorías: borrado (se presenta un único reclamante como un hecho, omitiendo a los rivales), parcial (se nombra al reclamante principal reconociendo a los rivales) y contestado (la atribución se presenta como abierta). La métrica principal fue la distinción binaria entre el borrado y cualquier tipo de reconocimiento.
• Modelado estadístico: Se utilizó una regresión logística robusta en clústeres para modelar la probabilidad de que un reclamante sea nombrado, controlando el lenguaje, la concordancia lingüística, la conmemoración, el rango de poder, la longitud de la respuesta y la forma de la pregunta.

Resultos clave

1. Presentación condicionada por el lenguaje: El idioma de la consulta influye significلmente en qué reclamante es presentado. Cuando se pregunta en el idioma asociado a un reclamante, ese reclamante tiene una probabilidad significativamente mayor de ser nombrado. Por ejemplo, Popov es nombrado en el 85% de las consultas en ruso, pero solo en aproximadamente el 48% de las consultas en otros idiomas (una brecha de 37 puntos porcentuales). Se observaron ganancias similares para Bi Sheng en chino (+19 pp), Santos-Dumont en portugués (+15 pp) y Reis en alemán (+14 pp).
2. Asimetría de la dominancia: Este efecto se concentra entre los reclamantes de menor estatus y no anglófonos. Las figuras anglófonas dominantes (por ejemplo, Bell, Wright, Newton) y el Marconi canónico global son nombrados con tasas cercanas al techo (98–100%) independientemente del idioma de la consulta. Los modelos no "olvidan" a las figuras dominantes en otros idiomas; más bien, no logran "recordar" a las figuras subordinadas a menos que se les consulte en su idioma nacional específico.
3. Papel de la conmemoración: La ventaja del idioma propio se fortalece con niveles más altos de conmemoración institucional. Sin embargo, incluso los reclamantes con cero marcadores de conmemoración registrados (por ejemplo, Choe Yun-ui, Jost Bürgi) muestran una ventaja estadística en su idioma nacional, lo que sugiere que el efecto es impulsado por el corpus de texto de la lengua nacional en general, no solo por los actos de conmemoración formal.
4. Forma de la pregunta: Nombrar explícitamente a un rival en el prompt (forma contrastiva) reduce drásticamente la tasa de borrado (del 11.2% en la forma abierta al 3.1% en la forma contrastiva), protegiendo al rival de la omisión.
5. Varianza del modelo: Las tasas de borrado variaron según el modelo (1% a 12%), pero no se correlacionaron claramente con la región del desarrollador. El caso de control (MRI, donde todos los reclamantes comparten el inglés) no mostró efecto de lenguaje, confirmando que el fenómeno es específico de las disputas transnacionales.

Significado y afirmaciones
El artículo afirma que los LLM funcionan como un nuevo y omnipresente medio de nacionalismo banal. Al presentar selectivamente diferentes protagonistas nacionales basándose en el idioma de la consulta, estos modelos reproducen las "comunidades imaginadas" descritas por Anderson y los "sitios de memoria" descritos por Nora, pero lo hacen de manera invisible y a escala planetaria.

• Reproducción de la asimetría: El sistema refuerza las asimetrías de conocimiento existentes. Las narrativas dominantes (anglófonas) se presentan como hechos universales en todos los idiomas, mientras que las narrativas subordinadas solo son accesibles para aquellos que consultan en su idioma nacional específico.
• Mecanismo: Los autores interpretan esto no como que el modelo posea lealtades nacionales, sino como una consecuencia estadística de haber sido entrenado en corpus de lenguas nacionales. El modelo reactiva las memorias parciales codificadas en el texto de cada comunidad lingüística.
• Implicaciones: El estudio argumenta que, para la educación y el periodismo, los LLM no deben tratarse como árbitros autoritarios de la historia en disputa. La respuesta "predeterminada" en un idioma dominante (como el inglés) puede borrar sistemáticamente las reclamaciones nacionales competidoras, mientras que la respuesta "local" en un idioma subordinado puede restaurarlas. Esto sugiere la necesidad de sistemas diseñados para presentar explícitamente la contestación y realizar verificaciones de consistencia translingüística, en lugar de tratar las variaciones lingüísticas específicas como mero ruido.

Los autores se mantienen modestos respecto al mecanismo técnico específico, señalando que, si bien la conmemoración es un predictor fuerte, el efecto persiste incluso sin ella, lo que probablemente refleja el volumen y el encuadre más amplio y no medido de los textos en lenguas nacionales en los datos de entrenamiento. Concluyen que este comportamiento es un resultado del diseño, no una inevitabilidad, y por lo tanto es susceptible de intervención.