Resumo Técnico: VIVID – Um Benchmark Culturalmente Fundamentado que Expõe a Lacuna da Linguagem Figurativa no PLN de Vietnamita

1. Declaração do Problema

A compreensão da linguagem figurada continua sendo um desafio crítico no Processamento de Linguagem Natural (PLN), exigindo que os modelos integrem conhecimento linguístico, contexto cultural e raciocínio pragmático. Embora progressos significativos tenham sido feitos em línguas de alto recurso (ex: inglês, coreano) e em tarefas específicas de vietnamita, como análise de sentimento ou inferência de linguagem natural, carece-se de um framework de avaliação sistemática para a linguagem figurada culturalmente fundamentada em vietnamita.

Os idiomas e provérbios vietnamitas apresentam dificuldades de interpretação únicas devido a:

• Vocabulário Sino-Vietnamita Arcaico raramente utilizado em contextos contemporâneos.
• Nuances pragmáticas sutis, tais como sarcasmo, ironia e conotações avaliativas.
• Conhecimento Popular enraizado em práticas agrícolas tradicionais e sabedoria costumeira.

Benchmarks existentes focam primariamente na detecção de idiomaticidade binária, em vez de uma compreensão cultural profunda. Além disso, métricas automáticas tradicionais (ex: BLEU) falham em capturar as nuances semânticas da interpretação figurativa, enquanto a avaliação humana é frequentemente cara e não escalável. Esta lacuna impede que pesquisadores avaliem se Modelos de Linguagem de Grande Escala (LLMs) especializados em vietnamita ou multilíngues podem interpretar essas expressões com precisão ou identifiquem quais características linguísticas representam os maiores desafios.

2. Metodologia

2.1. Construção do Dataset: VIVID

Os autores introduzem o VIVID (Vietnamese Idioms for Validation and Interpretation Depth), um benchmark composto por 1.636 expressões idiomáticas e provérbios vietnamitas validados. O dataset foi construído através de um pipeline de três estágios:

1. Coleta de Dados: Obtidos de dois dicionários autoritativos (Nguyen Lan, 2010; Vu Dung et al., 2000) para garantir autenticidade linguística e capturar tanto formas padronizadas quanto variantes regionais.
2. Categorização de Dados: Desenvolveu-se um esquema de anotação de camada dupla:
   • Taxonomia de Complexidade Linguística: Organizando as expressões em três aspectos com cinco traços distintos:
     • Significado: Expressões literais (propensas à sobreinterpretação) e Nuances pragmáticas (sarcasmo/ironia).
     • Lexical: Termos Sino-Vietnamitas e Vocabulário incomum (palavras arcaicas).
     • Conhecimento Cultural: Expressões baseadas em conhecimento popular (práticas agrícolas/culturais).
   • Temas Semânticos: Categorização em sete temas que refletem o discurso cultural vietnamita: Crítica, Lições de Vida, Trabalho e Natureza, Relacionamentos Sociais, Amor, Virtudes e Outros.
3. Validação de Dados: Um processo rigoroso de dois estágios envolvendo anotação automática (GPT-4.1) seguido de revisão independente e adjudicação baseada em consenso por dois especialistas linguistas nativos de vietnamita.

2.2. Framework de Avaliação

O estudo emprega um framework abrangente combinando tarefas generativas e discriminativas, utilizando uma abordagem de LLM-como-Juiz validada contra o julgamento humano.

• Tarefa Generativa: Os modelos geram explicações para os idiomas. Um LLM (GPT-4.1) atua como juiz para pontuar essas explicações em uma escala de 0 a 5 baseada em precisão factual, completude e alinhamento com as interpretações de falantes nativos.
  • Análise de Estratégia de Prompting: Quatro estratégias foram comparadas: Zero-shot, Demonstração (Few-shot), Cadeia de Pensamento (CoT) e Avaliação Baseada em Aspectos.
  • Confiabilidade: A avaliação baseada em aspectos alcançou a mais forte correlação com o julgamento humano ($\kappa$ de Cohen = 0,792), superando as outras estratégias.
• Tarefa Discriminativa: Os modelos realizam classificação de múltipla escolha para:
  • Identificação de tópico (7 temas semânticos).
  • Identificação de característica linguística (5 traços de complexidade).
  • A avaliação utiliza pontuação de correspondência exata para garantir consistência entre modelos de código aberto e fechado.

2.3. Modelos do Benchmark

Oito modelos de última geração foram avaliados, incluindo:

• Especializados em Vietnamita: VinaLLaMA-7B, Vistral-7B-Chat, GreenMind-14B.
• Multilíngues de Código Aberto: Llama-4-Scout, Llama-SEA-LION-v3, Qwen-3.
• Código Fechado: GPT-4o, Gemini Flash 2.5.

3. Resultados Principais

3.1. Lacunas de Desempenho

Mesmo modelos de última geração alcançam menos de 50% de correção em média.

• Multilíngue vs. Especializado: Modelos especializados em vietnamita apresentam um desempenho drasticamente inferior aos sistemas multilíngues. Por exemplo, o VinaLLaMA-7B pontuou 0,13, enquanto o GPT-4o pontuou 2,46 (em uma escala de 0 a 5).
• Escala do Modelo: Modelos maiores geralmente performam melhor. Entre modelos de 14B comparáveis, o especializado em vietnamita GreenMind-14B (1,09) teve desempenho similar ao multilíngue Qwen-3-14B (1,09), sugerindo que o treinamento específico de linguagem atual não oferece uma vantagem clara para a compreensão cultural de linguagem figurada em escalas similares.

3.2. Robustez à Complexidade

Os modelos lutam significativamente com traços de complexidade específicos:

• Termos Sino-Vietnamitas foram a categoria menos desafiadora.
• Nuances pragmáticas e Conhecimento Popular representaram as maiores dificuldades, com os modelos falhando frequentemente em compreender o sarcasmo ou o contexto agrícola.
• Modos de Falha Sistemáticos: A análise revelou sobreinterpretação literal (inferir metáforas onde não existem), lacunas lexicais (traduzir incorretamente palavras arcaicas), desconexão cultural e achatamento pragmático (substituir a ironia por tons neutros).

3.3. Efeitos de Prompting

• Prompting Few-shot: Geralmente melhorou o desempenho para a maioria dos modelos ao fornecer exemplos de contexto.
• Anomalia no GPT-4o: Notavelmente, o GPT-4o exibiu degradação de desempenho sob prompting few-shot. A análise sugere que isso se deve ao sobreajuste estilístico, onde o modelo imita o tom moralista dos exemplos em vez de focar na fidelidade semântica, levando a alucinações "didáticas" e deriva semântica.

4. Contribuições

O artigo apresenta três contribuições principais:

1. Benchmark VIVID: O primeiro benchmark sistemático para linguagem figurada vietnamita, apresentando 1.636 pares de idioma-explicação validados com anotações de camada dupla (traços de complexidade e temas semânticos).
2. Protocolos de Avaliação: Um novo framework combinando uma abordagem de LLM-como-Juiz para avaliação generativa (validada com $\kappa$ = 0,792) e tarefas de classificação discriminativa.
3. Análise Abrangente: Evidência empírica demonstrando que a escala do modelo importa mais do que o treinamento específico de linguagem para a compreensão cultural, ao mesmo tempo em que expõe lacunas persistentes no tratamento de nuances pragmáticas e conhecimento popular.

5. Significância e Limitações

Significância:
O VIVID fornece uma ferramenta essencial para avançar a compreensão da linguagem figurada em contextos culturalmente ricos. Ele expõe as limitações dos atuais LLMs em alcançar uma verdadeira competência cultural, indo além do pareamento de padrões superficiais. Os achados sugerem que o desenvolvimento de sistemas de PLN culturalmente conscientes requer mais do que apenas escalar parâmetros ou realizar fine-tuning em dados específicos de linguagem; exige abordar lacunas semânticas e pragmáticas profundas.

Limitações:

• Transparência de Avaliação: A dependência de um modelo proprietário de código fechado (GPT-4.1) para o framework de LLM-como-Juiz levanta preocupações quanto à reprodutibilidade de longo prazo e transparência.
• Escala de Validação: A análise de confiabilidade entre o juiz LLM e os anotadores humanos foi conduzida em um subconjunto de 200 amostras devido ao alto custo da anotação manual, o que pode não capturar totalmente a diversidade de todas as formas linguísticas no dataset.

Os autores concluem que o VIVID estabelece uma base robusta para pesquisas futuras visando o desenvolvimento de sistemas de PLN capazes de uma interpretação figurativa matizada e culturalmente fundamentada.