💬 NLP

Detection of Emotions in Hindi-English Code Mixed Text Data

Este artigo apresenta um novo corpus anotado de texto de código misto hindi-inglês e propõe um método de normalização com restrição de consoantes para melhorar a detecção de emoções, demonstrando que um modelo LSTM de subpalavras alcança a maior precisão (76,6%) entre cinco modelos de base comparados para classificar raiva, medo, felicidade e tristeza.

Autores originais: Divyansh Singh

Publicado 2026-08-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Divyansh Singh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como um gigantesco e movimentado mercado global onde pessoas de diferentes países gritam seus pensamentos, piadas e sentimentos no ar digital. Na Índia, uma grande parte desse falatório acontece em uma língua híbrida única chamada "Hinglish". É como um smoothie linguístico onde o hindi e o inglês se misturam em uma única frase. O problema é que, como todos digitam isso em seus telefones usando o alfabeto latino (as mesmas letras que usamos para o inglês), não existem regras rígidas sobre como soletrar as palavras em hindi. Uma pessoa pode escrever "love" como pyaar, outra como pyar e uma terceira como pyr. Para um computador, esses parecem três palavras completamente diferentes, tornando muito difícil para o software entender o que as pessoas estão realmente dizendo.

É aqui que entra a ciência do "Processamento de Linguagem Natural" (PLN). Pense no PLN como ensinar computadores a ler e compreender a linguagem humana. Embora os computadores tenham ficado bons em descobrir se uma frase é geralmente "feliz" ou "triste" (análise de sentimento), eles têm dificuldade em detectar emoções específicas e complexas como raiva, medo ou entusiasmo, especialmente quando o texto é bagunçado e misturado. Compreender essas emoções específicas é crucial porque ajuda os computadores a saber se alguém está apenas tendo um dia ruim ou se está em perigo real, o que é vital para coisas como segurança online e monitoramento de saúde mental.

Entra um pesquisador do LNMIIT em Jaipur, Índia, que decidiu enfrentar esse quebra-cabeça de linguagem mista e bagunçada. Ele queria ensinar computadores a identificar quatro emoções específicas — Raiva, Medo, Tristeza e Felicidade — em textos em Hinglish. Para fazer isso, ele primeiro teve que construir seu próprio "dicionário" de sentimentos. Ele coletou 1.589 frases de seções de comentários do Twitter e de vídeos, onde as pessoas estavam conversando livremente. Dois falantes nativos de hindi (que também falam inglês fluentemente) leram cada frase e rotularam a emoção. Eles concordaram com os rótulos quase perfeitamente, criando um conjunto de treinamento de alta qualidade para seus modelos de computador.

O pesquisador enfrentou um obstáculo complicado: o caos da ortografia. Como as pessoas escrevem as palavras em hindi de tantas maneiras diferentes, o computador ficava confuso. Para corrigir isso, o pesquisador inventou um truque de "normalização" inteligente. Imagine que você tem uma pilha de meias onde algumas estão rotuladas como "Vermelho", outras como "Vermelhoo" e outras como "Verm". Em vez de tentar adivinhar qual está correto, o computador olha para o "esqueleto" da palavra (as consoantes) e com que frequência a palavra aparece em contextos semelhantes. Ele então agrupa todas as grafias estranhas e as substitui pela versão mais comum. Isso limpa os dados para que o computador não seja distraído por erros de ortografia.

Em seguida, eles testaram cinco diferentes "cérebros" de computador (algoritmos) para ver qual poderia prever melhor a emoção. Eles compararam métodos estatísticos simples contra redes neurais mais complexas. A grande surpresa? O modelo mais complexo, que olhava para os minúsculos blocos de construção das palavras (subpalavras) em vez de palavras inteiras, venceu a corrida. Ele alcançou uma precisão de 76,6%, o que é um salto enorme em relação aos 30,8% que você obteria se apenas adivinhasse a emoção mais comum todas as vezes. Isso sugere que decompor as palavras em partes menores ajuda o computador a lidar muito melhor com as variações bagunçadas de ortografia.

No entanto, o pesquisador foi cuidadoso ao não declarar uma vitória total. Eles descobriram que um método mais simples e antigo chamado "Naïve Bayes" (que basicamente conta com que frequência certas palavras aparecem) teve um desempenho quase tão bom quanto a rede neural sofisticada. Isso sugere que, em postagens curtas de redes sociais, as emoções são frequentemente carregadas por apenas uma ou duas palavras-chave, então um simples contador de palavras pode fazer um trabalho surpreendentemente bom. O artigo conclui que, embora o modelo de subpalavras seja o campeão atual, o tamanho pequeno do seu conjunto de dados (1.589 frases) torna difícil dizer com certeza se um método é verdadeiramente superior ao outro. Eles sugerem que o maior obstáculo não é o algoritmo, mas a falta de dados; com uma biblioteca muito maior de exemplos, esses computadores poderiam se tornar ainda mais aguçados ao ler nossos corações digitais.

Resumo Técnico: Detecção de Emoções em Dados de Texto Codeterminados (Code-Mixed) Hindi-Inglês

Definição do Problema
Este artigo aborda o desafio da detecção de emoções em textos codeterminados de Hindi-Inglês (frequentemente chamados de "Hinglish"), uma forma prevalente de conteúdo gerado pelo usuário na Índia. Diferente da análise de sentimento padrão, que foca na polaridade (positivo/negativo), esta tarefa visa a classificação de emoções de granularidade mais fina entre quatro categorias: Raiva, Medo, Tristeza e Felicidade. A dificuldade principal reside na falta de convenções de transliteração padronizadas; palavras em Hindi escritas no alfabeto latino aparecem em inúmeras variantes ortográficas (ex: hain, hai, ha), fazendo com que os tokens fiquem fora dos léxicos padrão em inglês e tornem os analisadores morfológicos treinados no script Devanagari ineficazes.

Metodologia
O autor propõe uma abordagem de três frentes envolvendo a construção de um conjunto de dados, um procedimento de normalização e uma avaliação comparativa de modelos de linha de base (baseline).

Construção do Corpus: Um conjunto de dados de 1.589 sentenças codeterminadas foi compilado de seções de comentários do Twitter e de plataformas de vídeo. A inclusão de comentários de vídeos introduz um registro com enunciados mais longos e menos dominados por hashtags em comparação com corpora anteriores focados apenas no Twitter. Os dados foram anotados por dois falantes bilíngues, alcançando um alto acordo entre anotadores (Cohen's $\kappa = 0,94$ ). A distribuição é moderadamente desbalanceada, com "Feliz" como a classe majoritária (30,8%) e "Medo" como a minoritária (19,1%).
Procedimento de Normalização: Para lidar com a variância da transliteração, o autor introduz um procedimento de agrupamento (clustering) que combina similaridade distributiva com uma restrição linguística rígida.
- Mecanismo: Vetores skip-gram são treinados nos dados não rotulados. As palavras são agrupadas se satisfizerem duas condições: (1) elas compartilham uma sequência de consoantes ordenada idêntica (uma restrição rígida, já que a variação é primariamente baseada em vogais) e (2) exibem alta similaridade de cosseno em seu espaço vetorial.
- Substituição: Dentro de cada grupo, todas as variantes são substituídas pela forma mais frequente. Isso reduz a esparsidade do vocabulário enquanto preserva a identidade semântica da palavra.
Modelos de Linha de Base (Baselines): Cinco classificadores foram avaliados sob um protocolo de validação cruzada de cinco dobras (estratificado por classe):
- Naïve Bayes sobre n-gramas de caracteres ( $n=8$ ).
- Naïve Bayes sobre n-gramas de palavras (unigramas e bigramas).
- LSTM de nível de palavra usando embeddings word2vec.
- LSTM de sub-palavra (baseado em Joshi et al. [9]), que realiza a convolução de embeddings de caracteres para criar representações de sub-palavras antes de alimentá-las em um LSTM.
- Support Vector Machine (SVM) sobre vetores de palavras baseados em frequência.

Resultos
Os resultados experimentais destacam as seguintes métricas de desempenho:

Acurácia: O Sub-word LSTM alcançou a maior acurácia com 76,6%, superando significativamente o baseline da classe majoritária (30,8%) e o próximo melhor modelo (Naïve Bayes de n-gramas de palavras com 75,1%).
Pontuação Macro-F1: O Sub-word LSTM empatou com o Naïve Bayes de n-gramas de palavras em 0,77. O autor observa que, dado o tamanho do conjunto de dados (1.589 instâncias) e o protocolo de cinco dobras, essa margem é estatisticamente indistinguível.
Análise de Erro:
- O Sub-word LSTM melhorou a acurácia em relação ao LSTM de nível de palavra em 4,0 pontos, isolando a representação de sub-palavra como a fonte do ganho. Isso é atribuído à incapacidade do modelo de nível de palavra em lidar com variantes de transliteração raras que permanecem não fundidas pelo passo de normalização.
- A classe "Medo" foi a categoria melhor classificada para a maioria dos modelos (F1 $\approx$ 0,82), provavelmente devido a um léxico distintivo e fechado (ex: bachao, darr).
- O Sub-word LSTM apresentou desempenho ligeiramente inferior na classe "Medo" em comparação com outros modelos, sugerindo que modelos de alta capacidade podem ter dificuldade com classes pequenas, onde memorizar um léxico específico é mais eficaz do que a discriminação contextual.

Contribuições Principais e Significância
O artigo apresenta três contribuições específicas para o campo do NLP de baixos recursos para línguas codeterminadas:

Dataset: Ele libera um corpus de 1.589 sentenças anotadas que expande além do domínio exclusivo do Twitter para incluir comentários de plataformas de vídeo, oferecendo um registro linguístico mais diverso.
Normalização: Propõe um método de agrupamento restrito para variantes de transliteração que explicitamente utiliza a identidade das consoantes, oferecendo uma alternativa de pré-processamento ao depender exclusivamente da robustez do modelo.
Comparação Controlada: Fornece uma comparação rigorosa entre representações de nível de palavra e de sub-palavra. O estudo demonstra que, embora as representações de sub-palavra (Sub-word LSTM) rendam a maior acurácia ao mitigar a variância ortográfica, modelos simples de bag-of-n-grams permanecem altamente competitivos nesta escala de tarefa.

Limitações e Escopo
O autor mantém uma postura modesta em relação ao escopo do artigo. Eles reconhecem que o tamanho do corpus é pequeno em comparação com recursos de sentimento mais amplos (ex: SentiMix), o que infla a variância nas métricas de desempenho e limita a resolução estatística das comparações de modelos. O estudo exclui explicitamente encoders pré-treinados baseados em transformers (ex: BERT), observando que, embora eles provavelmente dominem os rankings atuais, o presente trabalho foca em isolar a contribuição específica da modelagem de sub-palavras e da normalização. Além disso, o autor alerta que a pequena escala do dataset e a cobertura estreita de plataformas o tornam inadequado para implantação em cenários de tomada de decisão consequentes.

Mais como este