💬 NLP

Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders

Este artigo investiga como os codificadores multilíngues representam textos code-mixed (Hindi-Inglês), revelando que o pré-treinamento contínuo em dados code-mixed melhora a alinhamento com o inglês em detrimento do hindi, e propõe um novo objetivo de alinhamento pós-treinamento trilingue que equilibra essa representação, resultando em melhorias significativas em tarefas de análise de sentimentos e detecção de discurso de ódio.

Autores originais: Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Publicado 2026-03-23

📖 4 min de leitura☕ Leitura rápida

CC0 1.0

Autores originais: Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um tradutor de bolso super inteligente, capaz de entender dezenas de idiomas. Esse tradutor é o que os cientistas chamam de Modelo de Linguagem Multilíngue (como o mBERT ou XLM-R). Ele foi treinado lendo milhões de livros e artigos em inglês, hindi, espanhol, etc., e aprendeu a conectar ideias semelhantes entre esses idiomas.

Agora, imagine que você começa a falar uma mistura de inglês e hindi na mesma frase. Isso é chamado de Code-Mixing (ou "mistura de código"). No Brasil, seria como dizer: "Eu vou fazer o lunch no shopping com meus amigos".

O problema é que esse tradutor super inteligente, embora saiba inglês e hindi perfeitamente, fica um pouco confuso quando você mistura os dois. Ele não sabe exatamente onde colocar essa frase misturada no seu "mapa mental" de idiomas.

Aqui está o que os autores desse artigo descobriram e como eles resolveram o problema, explicado de forma simples:

1. O Problema: A "Sala de Espera" Confusa

Os pesquisadores criaram um experimento com frases paralelas: uma em inglês puro, uma em hindi puro e uma na mistura (Hinglish).

O que eles viram: O tradutor sabia conectar a frase em inglês com a do hindi muito bem (como se fossem dois amigos próximos). Mas, quando chegava na frase misturada, ele a colocava numa "sala de espera" solitária, longe de ambos.
A Analogia: Pense no inglês e no hindi como duas ilhas conectadas por uma ponte forte. A frase misturada, no entanto, era como um barco que ficava boiando no meio do oceano, sem atracar em nenhuma das ilhas. O modelo entendia o inglês da frase misturada, mas ignorava quase tudo do hindi.

2. A Tentativa Falha: "Treinar Mais"

Os pesquisadores tentaram uma solução comum: eles deram ao modelo mais frases misturadas para ler (um "treino extra").

O Resultado: O modelo ficou ótimo em entender a mistura em relação ao inglês. Mas, de repente, ele esqueceu como conectar o inglês ao hindi!
A Analogia: Foi como se o tradutor tivesse se mudado para uma casa onde só se fala inglês. Ele aprendeu a falar a mistura perfeitamente, mas perdeu a habilidade de conversar com o vizinho que fala hindi. A "ponte" entre as ilhas foi quebrada.

3. A Descoberta: O Hindi é o "Segredo"

Usando ferramentas de "raios-X" (análise de como o cérebro do computador funciona), eles descobriram algo interessante:

O modelo usava o inglês como base principal para entender a mistura (como se a mistura fosse apenas inglês com um sotaque).
Mas, quando o hindi estava escrito no seu alfabeto original (Devanagari), ele ajudava a reduzir a confusão. O alfabeto original trazia informações que o alfabeto romano (usado no inglês) perdia.
A Analogia: É como ouvir uma música. O modelo ouvia a melodia (inglês), mas precisava da letra escrita no idioma original (hindi) para entender a emoção completa e não ficar inseguro sobre o que estava ouvindo.

4. A Solução: O "Treino de Equilíbrio"

Com base nisso, eles criaram um novo método de treino chamado Alinhamento Trilíngue.

Em vez de deixar o barco boiar no meio do mar, eles ensinaram o modelo a ancorar a frase misturada simultaneamente nas duas ilhas (inglês e hindi).
Eles criaram uma regra matemática que diz: "Se você entende esta frase em inglês, e entende esta em hindi, você DEVE entender a mistura como se fosse uma ponte entre os dois, e não um terceiro idioma estranho."

5. O Resultado: Um Tradutor Mais Justo

Depois desse novo treino:

A frase misturada finalmente atracou nas duas ilhas.
O modelo ficou mais equilibrado: não favorecia mais o inglês em detrimento do hindi.
Na prática: Quando testaram em tarefas reais (como detectar se um tweet é de ódio ou se é positivo), o modelo com esse novo treino funcionou muito melhor, entendendo a nuance da mistura sem perder a conexão com os idiomas originais.

Resumo da Ópera

O artigo diz que, para ensinar uma inteligência artificial a entender quando as pessoas misturam idiomas, não basta apenas dar mais exemplos misturados. Você precisa ensinar o modelo a ver a mistura não como um "terceiro idioma", mas como uma ponte viva que conecta os dois idiomas originais. Se você fizer isso, a IA entende melhor, é mais justa e comete menos erros.

É como ensinar alguém que fala português e inglês a entender um amigo que fala os dois ao mesmo tempo: você não ensina apenas a ouvir o inglês; você ensina a ouvir a conversa inteira, respeitando as duas vozes.

Resumo Técnico: Dinâmicas de Representação Cruzada em Textos Code-Mixed

1. Problema e Motivação

Os modelos de linguagem multilíngues (MLMs) baseados em codificadores (como mBERT e XLM-R) são amplamente utilizados para tarefas de análise de texto code-mixed (mistura de códigos, como Hinglish: Hindi-Em Inglês). No entanto, há um conhecimento limitado sobre como esses modelos representam internamente entradas code-mixed e se essas representações estão significativamente conectadas às suas línguas constituintes (inglês e hindi).

A questão central é: Como os codificadores multilíngues alinham representações de texto misturado com as representações das línguas monolíngues originais? Estudos anteriores focaram principalmente em alinhamento entre frases monolíngues, deixando uma lacuna na compreensão da dinâmica interna do code-mixing.

2. Metodologia

A. Construção de Corpus Trilíngue
Os autores criaram um corpus unificado e paralelo contendo 21.139 tripletas de sentenças alinhadas:

Inglês (EN): Sentenças monolíngues.
Hindi (HI): Sentenças monolíngues em script Devanagari.
Code-Mixed (CM): Sentenças em Hinglish (Hindi escrito em script latino/Romano misturado com inglês).
Dados: O corpus foi construído a partir de recursos existentes (CM-En Parallel, PHINC, LinCE) com traduções geradas via API e validadas.

B. Modelos Avaliados
O estudo comparou:

Modelos "Vanilla": mBERT e XLM-R (pré-treinados em corpora multilíngues padrão).
Modelos Adaptados: Variantes da família "Hing" (Hing-mBERT, Hing-RoBERTa) que sofreram continued pre-training (pré-treinamento contínuo) em dados code-mixed.

C. Técnicas de Análise e Interpretabilidade
Para investigar a dinâmica das representações, foram utilizadas três abordagens principais:

CKA (Centered Kernel Alignment): Medida de similaridade entre espaços de representação em diferentes camadas da rede neural para avaliar o alinhamento estrutural.
Saliência por Token (Token-level Saliency): Uso de pontuações de importância relativa (RI) para determinar se o modelo depende mais de tokens em inglês ou hindi ao processar texto misturado.
Análise de Incerteza Baseada em Entropia: Medição de quanto a entropia (incerteza) das representações code-mixed é reduzida quando condicionada às representações do inglês, do hindi ou de ambos.
Recuperação de Frases Paralelas: Avaliação da precisão na recuperação de frases equivalentes entre pares de línguas (EN↔HI, EN↔CM, HI↔CM).

D. Proposta de Solução: Alinhamento Pós-Treinamento Trilíngue
Motivados pelas descobertas, os autores propuseram uma nova etapa de post-training (após o pré-treinamento) com um objetivo de perda de alinhamento trilíngue ( $L_{align}$ ).

Objetivo: Forçar as representações de sentenças paralelas em EN, HI e CM a ocuparem regiões próximas no espaço de embeddings compartilhado.
Métrica Proposta (CLAS): Cross-Lingual Alignment Score, que mede a precisão de recuperação bidirecional, penaliza o viés direcional e avalia a variância de desempenho entre os pares de línguas.

3. Principais Descobertas e Resultados

A. Alinhamento Fraco e Ancoragem Periférica

Modelos multilíngues padrão alinham bem o Inglês e o Hindi (EN↔HI), mas as representações code-mixed (CM) permanecem fracamente ancoradas a ambas as línguas, ocupando um espaço periférico.
A ordem de alinhamento típica em modelos padrão é: $EN \leftrightarrow HI > EN \leftrightarrow CM > HI \leftrightarrow CM$ .

B. Compensação (Trade-off) no Continued Pre-training

O pré-treinamento contínuo em dados code-mixed melhora drasticamente o alinhamento entre Inglês e Code-Mixed ( $EN \leftrightarrow CM$ ).
Porém, isso degrada significativamente o alinhamento original entre Inglês e Hindi ( $EN \leftrightarrow HI$ ). O modelo "puxa" as representações do inglês em direção ao manifold code-mixed, prejudicando a conexão com o hindi monolíngue.

C. Assimetria Semântica e Script

Domínio do Inglês: As representações code-mixed são explicadas predominantemente pelo espaço semântico do inglês. O modelo processa o texto misturado através de uma lente dominada pelo inglês.
Papel do Hindi Nativo: O Hindi escrito em script Devanagari fornece sinais complementares que reduzem a incerteza representacional, mas não é o principal "âncora" semântica em modelos padrão.
Script: Preservar o Hindi em Devanagari durante o pré-treinamento melhora o alinhamento HI↔CM, enquanto a romanização pura degrada esse alinhamento.

D. Eficácia do Alinhamento Trilíngue Proposto

A introdução da etapa de alinhamento trilíngue pós-treinamento resultou em:
- Melhoria no CLAS: Aumento significativo na pontuação de alinhamento equilibrado (ex: mBERT de 14.20 para 50.97).
- Recuperação Balanceada: O método restaura o alinhamento EN↔HI que foi degradado pela adaptação code-mixed, criando um espaço onde o CM atua como uma "ponte" equilibrada entre EN e HI.
- Desempenho em Tarefas: Houve ganhos consistentes em tarefas downstream de Análise de Sentimento e Detecção de Discurso de Ódio, demonstrando maior consistência cruzada entre as línguas.

4. Contribuições Chave

Corpus Trilíngue: Criação de um conjunto de dados paralelo (EN, HI, CM) para análise sistemática de alinhamento.
Análise Mecanística: Uso de CKA, saliência e entropia para revelar que o code-mixing é processado principalmente através de um espaço semântico dominado pelo inglês, com o hindi nativo atuando como sinal complementar.
Método de Alinhamento: Proposta de uma etapa de pós-treinamento simples, mas eficaz, que utiliza supervisão trilíngue para equilibrar as representações sem degradar o alinhamento monolíngue existente.
Métrica CLAS: Introdução de uma métrica para quantificar o alinhamento cruzado equilibrado, indo além da simples precisão de recuperação unidirecional.

5. Significado e Conclusão

O trabalho demonstra que, embora os modelos multilíngues aprendam a alinhar línguas puras, eles falham em integrar nativamente o texto code-mixed de forma equilibrada, tendendo a tratá-lo como uma extensão do inglês. A adaptação simples em dados mistos resolve parte do problema, mas sacrifica a capacidade de alinhar as línguas constituintes originais.

A solução proposta mostra que ancorar explicitamente as representações code-mixed em ambas as línguas constituintes simultaneamente é crucial para um entendimento cruzado robusto. Isso não apenas melhora a consistência teórica das representações, mas também traz benefícios práticos mensuráveis em tarefas de classificação de texto em cenários multilíngues complexos, como o Hinglish. O estudo sugere que futuras abordagens para code-mixing devem considerar a geometria do espaço de embeddings para garantir que o texto misturado não seja apenas uma "mistura", mas uma representação coerente e equilibrada de suas partes.