Language Ideologies in a Multilingual Society: An LLM-based Analysis of Luxembourgish News Comments

A continuación se presenta un resumen técnico detallado del artículo "Ideologías lingüísticas en una sociedad multilingüe: Un análisis basado en LLM de comentarios de noticias en luxemburgués".

1. Planteamiento del Problema

El artículo aborda el desafío de detectar automáticamente las ideologías lingüísticas—creencias compartidas sobre el lenguaje que moldean las identidades sociales, las dinámicas de poder y la pertenencia—dentro de grandes corpus de texto. Específicamente, los autores se centran en el luxemburgués, una lengua germánica occidental de recursos limitados hablada en una sociedad altamente multilingüe.

• El Desafío Central: Las ideologías lingüísticas son complejas, dependen del contexto y a menudo son sutiles. La anotación manual tradicional consume mucho tiempo y es difícil de escalar.
• La Barrera de los Recursos Limitados: El luxemburgués está subrepresentado en los datos de entrenamiento de los Modelos de Lenguaje Grande (LLM). No está claro si los LLM pueden realizar eficazmente tareas sociolingüísticas de granularidad fina en tales idiomas o si es necesario traducir los datos a idiomas de recursos abundantes (inglés, francés, alemán) para mejorar el rendimiento.
• Preguntas de Investigación:
  1. ¿Pueden los LLM actuales realizar una clasificación multiclase de ideologías lingüísticas?
  2. ¿Mejora la traducción de datos de recursos limitados a idiomas de recursos abundantes la precisión de la clasificación?
  3. ¿Pueden los LLM contribuir a la investigación sociolingüística sin una adaptación técnica pesada?

2. Metodología

Recolección y Anotación de Datos

• Corpus: 300 comentarios de usuarios del radiodifusor nacional luxemburgués (RTL.lu), divididos en dos subconjuntos:
  • Lang (150 comentarios): Seleccionados mediante coincidencia de palabras clave relacionadas con el uso del lenguaje (por ejemplo, "nuestra lengua", "lengua materna").
  • NotLang (150 comentarios): Seleccionados para no estar relacionados con el uso del lenguaje, a fin de evitar que los modelos dependan de pistas léxicas superficiales.
• Preprocesamiento: Los comentarios se dividieron en oraciones utilizando GPT (para manejar la puntuación irregular y los emojis de las redes sociales) y se corrigieron manualmente. No se aplicó normalización léxica para preservar las variaciones ortográficas que podrían señalar ideología.
• Anotación de Referencia Dorada: Dos lingüistas expertos anotaron 1.524 oraciones a nivel de oración utilizando seis categorías:
  1. Identidad: Declaraciones sobre la identidad nacional/personal vinculada al lenguaje.
  2. Vitalidad: Declaraciones sobre el peligro, el deterioro o la preservación del lenguaje.
  3. Pertenencia: Declaraciones sobre los requisitos para la integración en la sociedad.
  4. Responsabilidad: Declaraciones que asignan culpa o deber por la situación lingüística.
  5. Reconocimiento: Declaraciones sobre el estatus del lenguaje, las políticas y la jerarquía.
  6. Ninguna: No hay ideología presente.
• Acuerdo entre Anotadores: El Kappa de Cohen fue de 0,66 (0,78 de acuerdo bruto).

Configuración Experimental

• Modelos Evaluados: Una mezcla de modelos de vanguardia y de pesos abiertos, incluidos GPT-4o, GPT-4o-mini, o3, GPT-5, DeepSeek-V3, Qwen3, Mistral Magistral, Aya Expanse y Llama 4.
• Ingeniería de Prompts: Se probaron cuatro configuraciones de prompts, que iban desde listas simples de etiquetas hasta prompts complejos que contenían:
  • Definiciones detalladas de las categorías.
  • Ejemplos positivos y negativos (pocos ejemplos o few-shot).
  • Instrucciones para generar salida en JSON con justificaciones.
  • Resultado: El Prompt 4 (definiciones + ejemplos + instrucciones) obtuvo el mejor rendimiento.
• Transferencia Translingüística (Traducir-Prueba): Para abordar la naturaleza de recursos limitados del luxemburgués, el conjunto de datos se tradujo automáticamente al inglés, francés y alemán utilizando Google Translate.
  • Control de Calidad: Se crearon dos conjuntos de traducción: Automática (cruda) y Post-editada (corregida manualmente para menciones de país/idioma y ortografía).
• Métricas de Evaluación: F1 ponderado, F1 macro y puntuaciones F1 por etiqueta.

3. Resultados Clave

Impacto de la Ingeniería de Prompts

• Proporcionar definiciones detalladas y ejemplos (Prompt 4) mejoró significativamente el rendimiento en comparación con los prompts simples.
• Las puntuaciones F1 mejoraron de ~0,43 (Prompt 1) a ~0,56 (Prompt 4) para GPT-4o.
• GPT-5 superó consistentemente a todos los demás modelos en todos los idiomas y configuraciones.

Hallazgos de la Transferencia Translingüística

• Sin Ganancia Significativa por Traducción: Contrario a la hipótesis de que traducir a idiomas de recursos abundantes mejoraría el rendimiento, las traducciones no condujeron a mejoras sustanciales.
  • En algunos casos (por ejemplo, DeepSeek), el texto original en luxemburgués tuvo un mejor rendimiento que las traducciones.
  • No hubo diferencia significativa entre las traducciones Automáticas y las Post-editadas.
• Razonamiento: Los autores sugieren que, aunque los modelos generalizan a partir de representaciones multilingües compartidas, los matices socioculturales y los marcadores ideológicos específicos del luxemburgués a menudo se pierden o distorsionan durante la traducción, anulando los beneficios de la mejor "comprensión" del modelo del idioma objetivo.

Rendimiento de la Clasificación de Granularidad Fina

• Binaria vs. Multiclase: Los LLM funcionaron bien para distinguir el contenido ideológico del contenido no ideológico (la etiqueta "Ninguna" obtuvo puntuaciones F1 de ~0,9).
• Confusión de Categorías: La clasificación de granularidad fina entre las cinco ideologías específicas fue un desafío.
  • Sobrerpredicción: Los modelos confundieron frecuentemente Vitalidad, Identidad y Pertenencia.
  • Subdetección: Responsabilidad y Reconocimiento a menudo no se detectaron.
  • Confusiones Específicas:
    • Identidad vs. Pertenencia: Los modelos tuvieron dificultades para distinguir entre la autodeterminación nacional (Identidad) y los requisitos de exclusión/integración social (Pertenencia).
    • Vitalidad vs. Reconocimiento: Los llamados a preservar el lenguaje a menudo se etiquetaron erróneamente como reconocimiento de estatus en lugar de preocupaciones de vitalidad.
• Explicaciones del Modelo: Las justificaciones generadas por los modelos revelaron que a menudo se basaban en pistas superficiales (por ejemplo, pronombres de primera persona como "nosotros/nos") en lugar de una comprensión semántica profunda de la postura ideológica.

4. Contribuciones Clave

1. Evaluación de LLM en la Detección de Ideologías de Recursos Limitados: El estudio proporciona evidencia empírica de que, aunque los LLM son efectivos para detectar la presencia de ideología lingüística en idiomas de recursos limitados, luchan con la categorización de granularidad fina sin la experiencia humana.
2. Análisis del Paradigma de Traducción: Cuestiona el supuesto estándar de "traducir-prueba" en el procesamiento del lenguaje natural (PLN) de recursos limitados para tareas sociolingüísticas, demostrando que la traducción puede degradar el rendimiento al eliminar marcadores ideológicos culturalmente específicos.
3. Ingeniería de Prompts para Sociolingüística: El artículo demuestra que proporcionar definiciones detalladas y ejemplos (aprendizaje con pocos ejemplos) es crucial, pero incluso con esto, los LLM requieren orientación experta para resolver las superposiciones de categorías.
4. Conjunto de Datos y Esquema de Anotación: La creación de un corpus anotado manualmente de comentarios en luxemburgués con un marco ideológico específico de cinco categorías sirve como referencia para futuras investigaciones en sociolingüística computacional.

5. Significado y Limitaciones

• Significado: La investigación valida el uso de LLM como una herramienta de prefiltrado para sociolingüistas. Pueden identificar eficientemente textos que contienen ideologías lingüísticas (clasificación binaria) para reducir la carga de trabajo manual, pero aún no pueden reemplazar a los expertos humanos en el análisis ideológico matizado.
• Limitaciones:
  • Escasez de Datos: El pequeño conjunto de datos (300 comentarios) impidió el ajuste fino de los modelos, dependiendo únicamente del aprendizaje en contexto.
  • Superposición de Categorías: Las categorías ideológicas son inherentemente difusas y se superponen en el discurso humano, lo que dificulta que los modelos las desentrañen sin un entrenamiento más sofisticado.
  • Sensibilidad del Prompt: El estudio señaló que pequeños errores gramaticales en el prompt (por ejemplo, formas incorrectas de pronombres) podían conducir a errores sistemáticos de etiquetado.
• Trabajo Futuro: Los autores sugieren avanzar hacia enfoques de métodos mixtos, donde los LLM manejen el análisis inicial en masa y los expertos humanos refinen los resultados. También proponen simplificar el esquema de anotación o recopilar más datos para el ajuste fino con el fin de mejorar el rendimiento.

En conclusión, el artículo argumenta que, aunque los LLM son herramientas poderosas para escalar la investigación sociolingüística, actualmente carecen de la comprensión cultural y contextual profunda necesaria para automatizar completamente la detección de ideologías lingüísticas complejas en entornos multilingües de recursos limitados.