💬 NLP

Detection of Emotions in Hindi-English Code Mixed Text Data

Este artículo presenta un nuevo corpus anotado de texto de mezcla de códigos hindi-inglés y propone un método de normalización con restricción de consonantes para mejorar la detección de emociones, demostrando que un modelo LSTM de subpalabras alcanza la mayor precisión (76,6 %) entre cinco líneas de base comparadas para clasificar la ira, el miedo, la felicidad y la tristeza.

Autores originales: Divyansh Singh

Publicado 2026-08-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Divyansh Singh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como un mercado global gigante y bullicioso donde personas de diferentes países gritan sus pensamientos, bromas y sentimientos al aire digital. En la India, una gran parte de este parloteo ocurre en un lenguaje híbrido único llamado "Hinglish". Es como un batido lingüístico donde el hindi y el inglés se mezclan en una sola oración. El problema es que, como todo el mundo escribe esto en sus teléfonos usando el alfabeto latino (las mismas letras que usamos para el inglés), no existen reglas estrictas sobre cómo deletrear las palabras en hindi. Una persona puede escribir "love" como pyaar, otra como pyar y una tercera como pyr. Para una computadora, estos parecen tres palabras completamente diferentes, lo que hace muy difícil que el software entienda lo que la gente realmente está diciendo.

Aquí es donde entra la ciencia del "Procesamiento de Lenguaje Natural" (NLP). Piensa en el NLP como el proceso de enseñar a las computadoras a leer y entender el lenguaje humano. Si bien las computadoras se han vuelto bastante buenas para determinar si una oración es generalmente "feliz" o "triste" (análisis de sentimiento), les cuesta detectar emociones específicas y complejas como la ira, el miedo o la emoción, especialmente cuando el texto es desordenado y mixto. Comprender estas emociones específicas es crucial porque ayuda a las computadoras a saber si alguien solo está teniendo un mal día o si está en peligro real, lo cual es vital para cosas como la seguridad en línea y el monitoreo de la salud mental.

Entra un investigador de la LNMIIT en Jaipur, India, quien decidió abordar este rompecabezas de lenguaje mixto y desordenado. Quería enseñar a las computadoras a detectar cuatro emociones específicas —Ira, Miedo, Tristeza y Felicidad— en textos en Hinglish. Para hacer esto, primero tuvo que construir su propio "diccionario" de sentimientos. Recolectó 1,581 oraciones de Twitter y secciones de comentarios de videos, donde la gente charlaba libremente. Dos hablantes nativos de hindi (que también hablan inglés con fluidez) leyeron cada oración y etiquetaron la emoción. Coincidieron en las etiquetas casi perfectamente, creando un conjunto de entrenamiento de alta calidad para sus modelos computacionales.

El investigador enfrentó un obstáculo complicado: el caos de la ortografía. Dado que la gente deletrea las palabras en hindi de muchas maneras diferentes, la computadora se confundía constantemente. Para solucionar esto, el investigador inventó un truco de "normalización" muy ingenioso. Imagina que tienes un montón de calcetines donde algunos están etiquetados como "Rojo", otros como "Rred" y otros como "Rd". En lugar de intentar adivinar cuál es el correcto, la computadora mira el "esqueleto" de la palabra (las consonantes) y con qué frecuencia la palabra aparece en contextos similares. Luego, agrupa todas las ortografías extrañas y las reemplaza con la versión más común. Esto limpia los datos para que la computadora no se distraiga con los errores ortográficos.

A continuación, probaron cinco "cerebros" computacionales diferentes (algoritmos) para ver cuál podía adivinar mejor la emoción. Compararon métodos estadísticos simples contra redes neuronales más complejas. ¿La gran sorpresa? El modelo más complejo, que observaba los diminutos bloques de construcción de las palabras (subpalabras) en lugar de palabras completas, ganó la carrera. Logró una precisión del 76.6%, lo cual es un salto enorme desde el 30.8% que obtendrías si simplemente adivinaras la emoción más común cada vez. Esto sugiere que descomponer las palabras en piezas más pequeñas ayuda a la computadora a manejar mucho mejor las variaciones desordenadas de la ortografía.

Sin embargo, el investigador fue cuidadoso de no declarar una victoria total. Encontró que un método más simple y antiguo llamado "Naïve Bayes" (que básicamente cuenta con qué frecuencia aparecen ciertas palabras) funcionó casi tan bien como la sofisticada red neuronal. Esto sugiere que en las publicaciones cortas de redes sociales, las emociones suelen ser transportadas por una o dos palabras clave, por lo que un simple contador de palabras puede hacer un trabajo sorprendentemente bueno. El artículo concluye que, si bien el modelo de subpalabras es el campeón actual, el pequeño tamaño de su conjunto de datos (1,589 oraciones) hace que sea difícil asegurar si un método es verdaderamente superior al otro. Sugieren que el mayor obstáculo no es el algoritmo, sino la falta de datos; con una biblioteca de ejemplos mucho más grande, estas computadoras probablemente podrían volverse aún más agudas al leer nuestros corazones digitales.

Resumen Técnico: Detección de Emociones en Datos de Texto de Código Mixto Hindi-Inglés

Definición del Problema
Este artículo aborda el desafío de la detección de emociones en texto de código mixto hindi-inglés (a menudo denominado "Hinglish"), una forma prevalente de contenido generado por el usuario en la India. A diferencia del análisis de sentimiento estándar que se centra en la polaridad (positivo/negativo), esta tarea apunta a una clasificación de emociones más detallada a través de cuatro categorías: Ira, Miedo, Tristeza y Felicidad. La dificultad principal radica en la falta de convenciones de transliteración estandarizadas; las palabras en hindi escritas en el alfabeto latino aparecen en numerosas variantes ortográficas (por ejemplo, hain, hai, ha), lo que provoca que los tokens queden fuera de los léxicos estándar del inglés y vuelve ineficaces los analizadores morfológicos entrenados en la escritura Devanagari.

Metodología
El autor propone un enfoque de tres vertientes que involucra la construcción de un conjunto de datos, un procedimiento de normalización y una evaluación comparativa de modelos base.

Construcción del Corpus: Se compiló un conjunto de datos de 1,589 oraciones de código mixto extraídas de secciones de comentarios de Twitter y plataformas de video. La inclusión de comentarios de video introduce un registro con enunciados más largos y con menos predominio de hashtags en comparación con los corpus anteriores exclusivos de Twitter. Los datos fueron anotados por dos hablantes bilingües, logrando un alto acuerdo entre anotadores (Cohen's $\kappa = 0.94$ ). La distribución es moderadamente desequilibrada, siendo "Felicidad" la clase mayoritaria (30.8%) y "Miedo" la minoritaria (19.1%).
Procedimiento de Normalización: Para abordar la varianza de la transliteración, el autor introduce un procedimiento de agrupamiento (clustering) que combina la similitud distributiva con una restricción lingüística estricta.
- Mecanismo: Se entrenan vectores skip-gram en los datos no etiquetados. Las palabras se agrupan si satisfacen dos condiciones: (1) comparten una secuencia de consonantes ordenada idéntica (una restricción estricta, ya que la variación es principalmente vocálica), y (2) exhiben una alta similitud de coseno en su espacio vectorial.
- Sustitución: Dentro de cada grupo, todas las variantes se reemplazan por la forma más frecuente. Esto reduce la dispersión del vocabulario preservando la identidad semántica de la palabra.
Modelos Base: Se evaluaron cinco clasificadores bajo un protocolo de validación cruzada de cinco pliegues (estratificado por clase):
- Naïve Bayes sobre n-gramas de caracteres ( $n=8$ ).
- Naïve Bayes sobre n-gramas de palabras (unigramas y bigramas).
- LSTM a nivel de palabra utilizando incrustaciones (embeddings) word2vec.
- LSTM de sub-palabras (basado en Joshi et al. [9]), que convoluciona incrustaciones de caracteres para crear representaciones de sub-palabras antes de alimentarlas a un LSTM.
- Máquina de Vectores de Soporte (SVM) sobre vectores de palabras basados en frecuencia.

Resultos
Los resultados experimentales resaltan las siguientes métricas de desempeño:

Exactitud (Accuracy): El Sub-word LSTM logró la exactitud más alta con un 76.6%, superando significativamente al baseline de la clase mayoritaria (30.8%) y al siguiente mejor modelo (Word n-gram Naïve Bayes con 75.1%).
Puntuación Macro-F1: El Sub-word LSTM empató con el Word n-gram Naïve Bayes en 0.77. El autor señala que, dado el tamaño del conjunto de datos (1,589 instancias) y el protocolo de cinco pliegues, este margen es estadísticamente indistinguible.
Análisis de Errores:
- El Sub-word LSTM mejoró la exactitud respecto al LSTM a nivel de palabra en 4.0 puntos, aislando la representación de sub-palabras como la fuente de la ganancia. Esto se atribuye a la incapacidad del modelo a nivel de palabra para manejar variantes de transliteración raras que no fueron fusionadas por el paso de normalización.
- La clase "Miedo" fue la categoría mejor clasificada para la mayoría de los modelos (F1 $\approx$ 0.82), probablemente debido a un léxico distintivo y cerrado (por ejemplo, bachao, darr).
- El Sub-word LSTM tuvo un desempeño ligeramente inferior en la clase "Miedo" en comparación con otros modelos, lo que sugiere que los modelos de alta capacidad pueden tener dificultades con clases pequeñas donde memorizar un léxico específico es más efectivo que la discriminación contextual.

Contribuciones Clave y Significado
El artículo realiza tres contribuciones específicas al campo del PLN de bajos recursos para lenguas de código mixto:

Corpus: Publica un corpus de 1,589 oraciones anotadas que se extiende más allá del dominio exclusivo de Twitter para incluir comentarios de plataformas de video, ofreciendo un registro lingüístico más diverso.
Normalización: Propone un método de agrupamiento restringido para las variantes de transliteración que aprovecha explícitamente la identidad de las consonantes, ofreciendo una alternativa de preprocesamiento al depender únicamente de la robustez del modelo.
Comparación Controlada: Proporciona una comparación rigurosa entre las representaciones a nivel de palabra y de sub-palabra. El estudio demuestra que, si bien las representaciones de sub-palabras (Sub-word LSTM) rinden la mayor exactitud al mitigar la varianza ortográfica, los modelos simples de bag-of-n-grams siguen siendo altamente competitivos en este tamaño de tarea.

Limitaciones y Alcance
El autor mantiene una postura modesta respecto al alcance del artículo. Reconoce que el tamaño del corpus es pequeño en comparación con otros recursos de sentimiento (por ejemplo, SentiMix), lo que infla la varianza en las métricas de desempeño y limita la resolución estadística de las comparaciones de modelos. El estudio excluye explícitamente los codificadores pre-entrenados basados en transformadores (por ejemplo, BERT), señalando que, aunque probablemente dominen las tablas de clasificación actuales, el presente trabajo se centra en aislar la contribución específica del modelado de sub-palabras y la normalización. Además, el autor advierte que la pequeña escala del conjunto de datos y la cobertura estrecha de plataformas lo hacen inadecuado para el despliegue en entornos de toma de decisiones trascendentales.

Más como este