Code-Mixed Corpora for Indian Social Media: Baselines and Insights for Hinglish Language Identification

Resumen Técnico: Líneas de Base e Insights para la Identificación de Idioma en Hinglish

Planteamiento del Problema
Las redes sociales en la India están dominadas por el "Hinglish", una mezcla de código entre hindi e inglés escrita en alfabeto romano. Si bien este fenómeno lingüístico es natural para la comunicación humana, presenta desafíos significativos para los sistemas de Procesamiento de Lenguaje Natural (NLP). Los modelos multilingües estándar, como mBERT y XLM-R, que suelen entrenarse con datos monolingües o paralelos, tienen dificultades con las características específicas del Hinglish: el cambio frecuente de idioma, la romanización inconsistente (por ejemplo, "acha" frente a "achha") y los tokens cortos y ambiguos (por ejemplo, "is", "me", "ki") que pueden pertenecer a cualquiera de los dos idiomas dependiendo del contexto. Los benchmarks existentes suelen depender de datos sintéticos o se centran en escenarios monolingües, dejando un vacío en cuanto a líneas de base reproducibles y ligeras adaptadas al texto codificado real.

Metodología
La investigación utiliza el conjunto de datos COMI-LINGUA, un recurso que contiene más de 125,000 ejemplos anotados por expertos con aproximadamente 0.97 millones de tokens para entrenamiento, 0.19 millones para validación y 0.19 millones para pruebas. El estudio propone un pipeline ligero y reproducible para la Identificación de Idioma (LID) a nivel de token que evita la dependencia de modelos preentrenados multilingües pesados.

El enfoque propuesto consta de los siguientes pasos:

1. Ingeniería de Características: En lugar de utilizar embeddings preentrenados, el método emplea n-gramas de caracteres (tamaños 2 a 5). Esto captura patrones de subpalabras distintivos, como sufijos ingleses ("-ing", "-ed") y terminaciones romanizadas en hindi ("-aa", "-wala"), mitigando al mismo tiempo el impacto de las variaciones ortográficas.
2. Vectorización: Estos n-gramas de caracteres se convierten en vectores dispersos utilizando ponderación TF-IDF para reducir la influencia de caracteres comunes y mejorar la robustez contra palabras fragmentadas.
3. Clasificación: Se entrena un clasificador de Regresión Logística (usando el solver Saga con regularización L2) sobre estos vectores dispersos de alta dimensionalidad. El modelo está diseñado para ser computacionalmente eficiente e interpretable, capaz de ejecutarse en entornos de CPU estándar sin hardware especializado.
4. Evaluación: El rendimiento se mide mediante Exactitud (Accuracy) y puntuación Macro-F1. Se utiliza una matriz de confusión para realizar un análisis de error granular.

Resultados Clave
La línea de base ligera demuestra una alta eficacia en el conjunto de datos COMI-LINGUA:

• Conjunto de Validación: Alcanzó una exactitud del 96.06% y un Macro-F1 de 0.9523.
• Conjunto de Prueba: Alcanzó una exactitud del 95.92% y un Macro-F1 de 0.9509.

El autor señala que este rendimiento es aproximadamente un 7% mejor que los benchmarks multilingües publicados anteriormente para la misma tarea. Los resultados sugieren que las características de nivel de carácter bien diseñadas son suficientes para manejar el ruido y la variación inherentes al texto de las redes sociales, superando aproximadamente un 7% a las líneas de base multilingües en el conjunto de datos COMI-LINGUA.

Análisis de Errores
Un análisis detallado de los tokens mal clasificados revela tres fuentes primarias de error:

1. Ambigüedad de Tokens Cortos: Palabras comunes como "is", "me" y "ki" son difíciles de clasificar sin el contexto de la oración, ya que aparecen tanto en hindi como en inglés.
2. Variantes de Romanización: Las ortografías inconsistentes de una misma palabra en hindi (por ejemplo, "acha", "achaa", "achha") fragmentan el espacio de características, reduciendo la consistencia de la predicción.
3. Confusión de Préstamos Lingüísticos: Los préstamos del inglés integrados en oraciones en hindi (por ejemplo, "party", "school") son a veces clasificados erróneamente, particularmente cuando el contexto circundante es predominantemente hindi.

Significancia y Contribuciones
El artículo reclama tres contribuciones primarias al campo del NLP en la India:

1. Una Línea de Base Reproducible: Establece un pipeline simple y eficiente utilizando n-gramas de caracteres y Regresión Logística que logra un rendimiento cercano al estado del arte (~96% de exactitud) en la identificación de idioma en Hinglish, superando por un margen significativo a los sistemas multilingües complejos.
2. Insights Basados en Errores: Proporciona un análisis sistemático de los obstáculos específicos que enfrenta la identificación de idioma en Hinglish, yendo más allá de las métricas de rendimiento generales para identificar los matices lingüísticos (ambigüedad, ortografía, préstamos) que causan fallos.
3. Una Hoja de Ruta para el Trabajo Futuro: El estudio aboga por un cambio hacia el modelado inclusivo y específico del dominio. Sugiere que la investigación futura debe centrarse en modelos conscientes de la secuencia, extensiones multilingües y metodologías centradas en la equidad para reflejar mejor la diversidad lingüística de la India.

El autor concluye que, si bien el modelo propuesto es un punto de partida sólido, abordar las limitaciones identificadas requiere ir más allá de la independencia de los tokens hacia enfoques conscientes del contexto y de la sociolingüística. Este trabajo sirve como guía para desarrollar tecnologías de lenguaje inclusivas que reflejen con precisión la compleja realidad de la comunicación digital en la India.