Resumo Técnico: MIDI – Um Conjunto de Dados de Idiomatismos Multilíngues para Línguas de Alto, Médio e Baixo Recurso

1. Declaração do Problema

As expressões idiomáticas apresentam um desafio significativo para os Modelos de Linguagem de Grande Escala multilíngues (mLLMs) devido à ambiguidade semântica entre os significados literais e figurados. Embora pesquisas anteriores tenham abordado a compreensão de idiomas, os benchmarks existentes sofrem de limitações críticas:

• Viés Linguístico: A maioria dos conjuntos de dados foca em línguas de alto recurso (ex: inglês, chinês), negligenciando línguas de baixo recurso onde os dados de treinamento são escassos e o embasamento cultural é essencial.
• Deficiência Contextual: Avaliações anteriores frequentemente dependem de sentenças isoladas ou tarefas de correspondência de definições, falhando em capturar as pistas pragmáticas encontradas em discursos realistas (ex: diálogos de múltiplos turnos).
• Opacidade de Mecanismo: Permanece incerto se os modelos têm sucesso por memorizar definições de idiomas ou por raciocinar através do contexto para desambiguar o uso.

O artigo postula que os modelos atuais têm dificuldade em generalizar a compreensão de idiomas através de diversos cenários linguísticos, particularmente em configurações de baixo recurso e ao distinguir leituras literais de figuradas.

2. Metodologia

Construção do Conjunto de Dados: MIDI

Os autores introduzem o MIDI (Multilingual Idiom Dataset), um benchmark abrangente curado por falantes nativos em 18 línguas e dialetos. As línguas são categorizadas em três níveis de recurso baseados na disponibilidade digital:

• Alto Recurso (3): Chinês, Japonês, Russo.
• Médio Recurso (3): Indonésio, Vietnamita e o dialeto árabe dos Emirados Árabes Unidos.
• Baixo Recurso (12): Javanes, Persa, Kannada, Telugu, Tâmil, Minangkabau, Sundanês, Cazaque, Iorubá e dialetos árabes (Sírio, Egípcio, Marroquino).

Características Principais do MIDI:

• Escala: Contém 2.278 idiomas com 8.378 contextos de uso.
• Contextos Duplos: Cada idioma é inserido em dois cenários de discurso realistas:
  1. Nível de sentença: Elaborado tanto em sentidos literais quanto figurados.
  2. Nível de diálogo: Conversas curtas de múltiplos turnos onde pistas pragmáticas e intenções do falante influenciam a interpretação.
• Anotação: Os idiomas são anotados com propriedades psicolinguísticas (familiaridade, decomponibilidade, plausibilidade literal) e validados por pelo menos dois falantes nativos.
• Formato de Avaliação: Cada instância é emparelhada com uma questão de múltipla escolha (MCQ) solicitando o significado, com opções incluindo o significado figurado correto, o significado literal correto e dois distratores.

Configuração Experimental

O estudo avalia uma gama de modelos proprietários (GPT-5.2, Gemini 2.5 Pro) e de código aberto (DeepSeek-R1, Gemma-3, Llama-3.1/3.3, Mixtral, Qwen-3) em um cenário de zero-shot. A avaliação decompõe o desempenho ao longo de três eixos:

1. Nível de Recurso: Alto vs. Médio vs. Baixo.
2. Tipo de Contexto: Sentença vs. Conversa.
3. Tipo de Uso: Figurativo vs. Literal.

Análise de Mecanismo

Para desvendar a memorização versus o raciocínio, os autores empregam tarefas controladas:

• Tarefa de Memorização: Os modelos identificam o significado figurado sem qualquer contexto.
• Tarefa de Raciocínio: Os modelos recebem o contexto de uso e a definição em inglês do idioma, forçando-os a raciocinar sobre o uso específico em vez de apenas recordar uma definição.
• Direcionamento de Ativação (Activation Steering): Os autores aplicam o direcionamento de ativação linear (usando vetores derivados do MIDI e MMLU-Pro) para sondar representações latentes, testando se o deslocamento dos modelos ao longo das dimensões de "memorização" ou "raciocínio" melhora o desempenho.

3. Principais Resultados

Tendências de Desempenho

• Disparidade de Recursos: O desempenho degrada conforme os recursos linguísticos diminuem. Línguas de alto recurso alcançam uma média de ~59% de acurácia, enquanto línguas de baixo recurso caem para ~50%. Modelos de código aberto mostram um declínio mais pronunciado do que os modelos proprietários.
• Figurativo vs. Literal: Os modelos performam consistentemente melhor em interpretações figurativas (média de 65%) do que nas literais (média de 48%). Essa lacuna é mais severa em línguas de alto recurso (33 pontos percentuais), sugerindo que os modelos dependem fortemente de definições figurativas canônicas e têm dificuldade em reconhecer leituras literais composicionais.
• Benefício Contextual: Contextos conversacionais melhoram o desempenho em relação aos contextos de nível de sentença (59% vs. 54%), particularmente para línguas de baixo recurso (+7 pontos percentuais), provavelmente devido a pistas pragmáticas adicionais. No entanto, o contexto não elimina as lacunas de desempenho entre os níveis de recurso.

Memorização vs. Raciocínio

• Memorização: Modelos proprietários exibem altas capacidades de memorização em todos os níveis de recurso. Modelos de código aberto mostram variação significativa, com modelos menores enfrentando dificuldades em cenários de baixo recurso.
• Raciocínio: Fornecer definições explícitas e contexto impulsiona significativamente o desempenho, especialmente para modelos de código aberto em cenários de alto recurso. Contudo, mesmo com auxílios de raciocínio, as lacunas persistem em línguas de baixo recurso, indicando que o contexto ajuda a compensar o conhecimento limitado, mas não resolve totalmente o déficit.

Viés de Interpretação

A análise revela uma forte correlação entre viés de interpretação e desempenho. Modelos com um forte viés para interpretações figurativas (ex: Gemini 2.5 Pro) alcançam alta acurácia figurativa, mas sofrem na compreensão literal. Por outro lado, modelos com viés quase neutro (ex: Mixtral) performam melhor em tarefas literais, sugerindo que uma dependência excessiva de priors figurativos prejudica a capacidade de detectar o uso literal.

Direcionamento de Ativação (Activation Steering)

O direcionamento das ativações ao longo das dimensões de memorização e raciocínio produz ganhos de acurácia modestos, mas consistentes, particularmente em línguas de baixo recurso. Notavelmente, os vetores de direcionamento derivados do benchmark independente MMLU-Pro transferem-se efetivamente para o MIDI, sugerindo que o mecanismo mediador do tradeoff entre memorização e raciocínio é compartilhado entre as tarefas.

Lacuna Humano-Modelo

Uma avaliação humana em um subconjunto dos dados mostra que falantes nativos alcançam 94% de acurácia. Em contraste, os melhores modelos proprietários têm média de 81%, e os melhores modelos de código aberto, 72%. A lacuna é mais severa para modelos de código aberto em línguas de baixo recurso (ex: Iorubá: Humano 96% vs. Código Aberto 23%).

4. Contribuições e Significância

O artigo afirma as seguintes contribuições:

1. Conjunto de Dados MIDI: Um banco de testes tipologicamente diverso abrangendo 18 línguas e dialetos, apresentando contextos de sentença e diálogo com usos literais e figurados.
2. Benchmarking Sistemático: Uma avaliação abrangente revelando que a compreensão de idiomas continua sendo um desafio para os LLMs de última geração, com déficits específicos em línguas de baixo recurso e interpretações literais.
3. Insight Mecanístico: Evidência de que a compreensão de idiomas é um processo híbrido onde a memorização fornece sentidos candidatos (priors) e o raciocínio utiliza o contexto para a desambiguação. O estudo demonstra que essas capacidades estão interligadas; um forte viés figurativo pode prejudicar a compreensão literal.
4. Eficácia do Direcionamento: A demonstração de que o direcionamento de ativação pode melhorar o desempenho, particularmente para línguas de baixo recurso, e que esse mecanismo se generaliza entre conjuntos de dados (MIDI e MMLU-Pro).

5. Limitações

Os autores reconhecem diversas limitações:

• Escopo da Análise: A separação entre memorização e raciocínio foca primariamente em interpretações figurativas; a interação para leituras literais (onde os modelos devem suprimir significados idiomáticos) não é explicitamente avaliada.
• Desequilíbrio do Conjunto de Dados: O conjunto de dados é desequilibrado entre níveis de recurso e línguas, e algumas línguas (ex: Vietnamita) carecem de contrapartes literais, limitando comparações translinguísticas rigidamente controladas.
• Ruído de Anotação: Embora revisados por falantes nativos, a concordância entre anotadores para classificações psicolinguísticas não é reportada, o que significa que essas classificações devem ser tratadas como informativas, não como padrões ouro definitivos.
• Naturalidade do Diálogo: Os diálogos foram gerados por um LLM e revisados manualmente; embora coerentes, podem não capturar totalmente a variabilidade estilística das interações naturais.
• Restrições de Avaliação: O uso de questões de múltipla escolha limita a avaliação de capacidades de interpretação e geração abertas.

Em conclusão, o artigo estabelece que, embora os mLLMs tenham progredido, lacunas significativas permanecem em sua capacidade de compreender idiomas em diversos contextos linguísticos, particularmente para línguas de baixo recurso e usos literais. Os achados sugerem que os modelos atuais dependem fortemente de priors memorizados e têm dificuldade em desambiguar o significado de forma flexível baseando-se apenas no contexto.