Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation

Título: Universos Paralelos, Línguas Paralelas: Um Estudo Abrangente sobre a Geração de Exemplos Contratuais Multilíngues Baseada em LLMs

1. Problema e Motivação

Os exemplos contratuais (counterfactuals) são entradas minimamente editadas que causam uma mudança na previsão de um modelo, servindo como uma ferramenta crucial para explicar o comportamento de modelos de "caixa preta". Embora os Grandes Modelos de Linguagem (LLMs) demonstrem proficiência multilíngue e gerem excelentes exemplos contratuais em inglês, sua eficácia na geração de exemplos contratuais de alta qualidade em outros idiomas permanece uma questão em aberto.

A maioria das pesquisas anteriores focou exclusivamente no inglês, ignorando as variações comportamentais sistemáticas entre contextos em inglês e não ingleses. O artigo busca preencher essa lacuna investigando se os LLMs podem gerar explicações contratuais confiáveis e minimamente editadas em múltiplos idiomas, e como essas gerações podem ser utilizadas para aumentar a robustez de modelos multilíngues.

2. Metodologia

Os autores conduziram um estudo abrangente utilizando três LLMs de código aberto de tamanhos variados (Qwen2.5-7B, Gemma3-27B e Llama3.3-70B) em dois conjuntos de dados multilíngues:

• XNLI: Inferência de Linguagem Natural (NLI).
• SIB200: Classificação de Tópicos.

O estudo cobriu seis idiomas representando diversidade tipológica e recursos: Inglês, Árabe, Alemão, Espanhol, Hindi e Suaíli.

Abordagens de Geração

O estudo comparou duas estratégias principais:

1. Geração Direta (DG-CFs): O LLM gera o exemplo contratual diretamente no idioma alvo, seguindo um processo de três passos (identificar palavras-chave, encontrar substitutos, substituir).
2. Baseada em Tradução (TB-CFs): O LLM gera o exemplo em inglês e, em seguida, o traduz para o idioma alvo usando o mesmo modelo.

Métricas de Avaliação

A qualidade foi avaliada automaticamente através de:

• Taxa de Inversão de Rótulo (LFR): Porcentagem de casos onde a edição alterou com sucesso a previsão do modelo.
• Semelhança Textual (TS): Medida de quão pouco o texto foi alterado (distância semântica).
• Perplexidade (PPL): Medida de fluência do texto gerado.
• Análise de Erros: Classificação manual e automática de falhas comuns.

Aumento de Dados (CDA)

Os autores testaram o impacto da Aumento de Dados Contratuais (CDA) na robustez e desempenho de modelos BERT multilíngues, comparando a augmentação cruzada (apenas inglês) com a augmentação multilíngue (todos os idiomas).

3. Contribuições Principais

1. Avaliação Comparativa Direta vs. Tradução: Demonstração de que, embora exemplos baseados em tradução (TB-CFs) tenham maior taxa de inversão de rótulo (validade) do que os gerados diretamente, eles exigem modificações substancialmente maiores e ainda não atingem a qualidade dos exemplos originais em inglês.
2. Padrões de Edição Translinguística: Descoberta de que as modificações aplicadas em idiomas europeus de alto recurso (Inglês, Alemão, Espanhol) são notavelmente semelhantes, sugerindo princípios estratégicos comuns nas perturbações translinguísticas.
3. Categorização de Erros: Identificação e categorização de quatro tipos principais de erros recorrentes na geração multilíngue:
   • Copy-Paste: O modelo retorna o texto original sem alterações.
   • Negação: Uso excessivo de negações superficiais que não alteram o significado semântico profundo.
   • Inconsistência: Contradições lógicas dentro do texto gerado.
   • Confusão de Idioma: O modelo gera o texto no inglês em vez do idioma alvo solicitado.
4. Impacto no Aumento de Dados: Evidência de que o CDA multilíngue supera o CDA cruzado (apenas inglês), especialmente para idiomas de baixo recurso, embora os imperfeições dos exemplos gerados limitem os ganhos de desempenho.

4. Resultados Chave

• Qualidade e Validade:

  • Os exemplos em inglês geralmente apresentam a maior taxa de inversão de rótulo (LFR).
  • Idiomas europeus de alto recurso (Alemão, Espanhol) geram exemplos mais válidos do que idiomas de baixo recurso (Hindi, Suaíli, Árabe).
  • O Hindi apresentou a melhor fluência (menor perplexidade), enquanto o Árabe exigiu mais edições e teve menor fluência.
  • TB-CFs vs. DG-CFs: A abordagem baseada em tradução superou a geração direta em LFR, mas com um custo de similaridade textual significativamente menor (mais alterações no texto) e fluência reduzida devido a artefatos de tradução.

• Semelhança de Edição:

  • LLMs aplicam modificações estruturalmente similares para Inglês, Alemão e Espanhol.
  • Idiomas como Árabe e Suaíli mostram padrões de edição distintos e menos consistentes, muitas vezes falhando em alterar a semântica de forma adequada ou introduzindo viés geográfico (ex: inserir "Dubai" em exemplos de viagem).

• Análise de Erros:

  • O problema de Copy-Paste foi o mais prevalente, especialmente em tarefas de classificação de tópicos (SIB200) e em idiomas de baixo recurso no XNLI.
  • A Confusão de Idioma foi frequente quando se solicitava a geração em idiomas de baixo recurso, com o modelo revertendo para o inglês.

• Aumento de Dados (CDA):

  • O CDA multilíngue trouxe melhorias de desempenho mais consistentes do que o CDA cruzado, particularmente para idiomas de baixo recurso (Árabe, Hindi, Suaíli).
  • No entanto, os ganhos foram limitados pela presença de exemplos ruidosos (erros de geração). Ao filtrar casos de erro (como copy-paste), o desempenho do modelo aumentou significativamente, indicando que a qualidade dos dados gerados é o gargalo principal.

5. Significado e Conclusão

Este trabalho é fundamental para o campo da Explicabilidade de IA (XAI) multilíngue. Ele demonstra que, embora os LLMs sejam capazes de gerar explicações contratuais em vários idiomas, eles não são perfeitos e exibem viéses e falhas específicas dependendo do idioma e do recurso disponível.

• Implicações Práticas: Para aplicações de alto risco em múltiplos idiomas, confiar apenas na geração direta ou na tradução simples de exemplos em inglês pode ser insuficiente devido a erros de coerência e fluência.
• Direção Futura: O estudo sugere que métodos de pós-treinamento (como MAPO) ou a criação de conjuntos de dados anotados por humanos são necessários para superar as limitações atuais. Além disso, destaca a necessidade de métricas de avaliação mais robustas para scripts não latinos e a importância de validar a qualidade dos exemplos antes de usá-los para treinamento de modelos (CDA).

Em resumo, o artigo estabelece uma linha de base crítica para a geração de exemplos contratuais multilíngues, revelando que, embora promissores, os métodos atuais ainda enfrentam desafios significativos de qualidade e consistência que impedem sua adoção generalizada em cenários de produção multilíngue.