💬 NLP

Multi-lingual Functional Evaluation for Large Language Models

Este artigo apresenta novos benchmarks funcionais multilíngues (CL-GSM Symbolic e CL-IFEval) que revelam que as avaliações estáticas tradicionais frequentemente superestimam o desempenho e a robustez dos modelos de linguagem em idiomas como francês, espanhol, hindi, árabe e iorubá, evidenciando quedas significativas de desempenho quando os modelos são testados em tarefas funcionais traduzidas.

Autores originais: Victor Ojewale, Inioluwa Deborah Raji, Suresh Venkatasubramanian

Publicado 2026-03-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Victor Ojewale, Inioluwa Deborah Raji, Suresh Venkatasubramanian

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grupo de estudantes muito inteligentes, que são os Modelos de Linguagem (LLMs). Até hoje, para ver se eles eram bons em várias línguas, os professores faziam provas baseadas em livros didáticos estáticos. Eram perguntas de múltipla escolha, como "Qual é a capital da França?" ou "Resolva esta equação de matemática simples".

O problema é que essas provas tradicionais (chamadas de benchmarks estáticos) são como um teste de memória. Elas mostram se o modelo "leu o livro" naquela língua, mas não mostram se ele consegue pensar ou obedecer a regras complexas quando a língua muda. É como se o aluno soubesse de cor a resposta de um livro, mas travasse se você pedisse para ele escrever um poema com regras específicas em outro idioma.

O Que os Autores Fizeram?

Os pesquisadores Victor, Inioluwa e Suresh decidiram mudar o jogo. Em vez de apenas dar provas de livro, eles criaram dois novos tipos de "desafios práticos" (chamados de benchmarks funcionais) para testar se esses modelos realmente entendem o que estão fazendo em 5 línguas diferentes: Francês, Espanhol, Hindi, Árabe e Iorubá.

Eles criaram dois jogos:

O Jogo da Matemática "Mágica" (CL-GSM Symbolic):
Imagine que você dá ao modelo um molde de receita de bolo. A receita diz: "Se você tem X maçãs vermelhas e Y maçãs verdes, some-as". O modelo não precisa decorar a resposta. Ele precisa entender a lógica da receita e aplicar os números que você der naquele momento.
- A analogia: É como pedir para um cozinheiro não apenas recitar uma receita, mas cozinhar o prato na hora, usando ingredientes diferentes que você entrega na cozinha.
O Jogo do "Seguidor de Regras" (CL-IFEval):
Aqui, eles dão instruções muito específicas e chatas. Por exemplo: "Escreva um texto sobre gatos, mas use apenas palavras com 5 letras, não use a letra 'A' e termine com um ponto de exclamação".
- A analogia: É como pedir para um funcionário fazer um relatório, mas com regras estranhas de formatação. O teste não é se ele sabe o que é um gato, mas se ele consegue obedecer às regras enquanto escreve.

O Que Eles Descobriram? (A Surpresa)

Os resultados foram como descobrir que um aluno que tirava 10 na prova de história (o teste estático) na verdade tirava 4 na prova prática de redação.

A Ilusão da Competência: Os modelos pareciam ótimos nas provas tradicionais (como M-MMLU e Belebele). Eles acertavam muito em inglês, francês e espanhol. Mas, quando colocados nos desafios práticos (funcionais), a pontuação despencou.
- Exemplo: Em inglês, a queda foi de 24%. Em francês, 17%. Isso significa que o modelo estava "decorando" respostas, mas não entendendo a lógica por trás delas quando a língua mudava.
O Abismo das Línguas:
- Línguas Ricas (Inglês, Francês, Espanhol): Os modelos ainda funcionavam bem, mas não tão bem quanto as provas antigas sugeriam.
- Línguas Pobres (Iorubá, Hindi): Aqui foi o desastre. Enquanto nas provas antigas eles conseguiam tirar notas "medianas", nos testes práticos, eles quase pararam de funcionar.
- A metáfora: É como se o modelo fosse um ator que sabe atuar perfeitamente em inglês, mas quando o roteiro é em Iorubá, ele esquece todas as falas e começa a gaguejar, mesmo que na teoria ele saiba a língua.
A Falha nas Regras:
Nos testes de "Seguidor de Regras", os modelos falharam feio em seguir instruções simples em línguas menos comuns. Eles entendiam o pedido, mas não conseguiam aplicar a restrição (como "não use a letra X").

Por Que Isso Importa?

Este estudo é um alerta importante. Até agora, a indústria de Inteligência Artificial estava muito feliz com as notas altas nos testes antigos, achando que os modelos eram "multilíngues" e prontos para o mundo real.

Os autores dizem: "Cuidado! As notas altas podem estar mentindo."

Se você usar esses modelos para ajudar pessoas em línguas como Iorubá ou Hindi em tarefas reais (como resolver problemas matemáticos complexos ou seguir instruções de segurança), você pode ter surpresas ruins. O modelo pode parecer inteligente, mas na prática, ele é frágil e falha quando precisa pensar de verdade.

Conclusão Simples

Pense nisso como a diferença entre decorar um mapa e saber dirigir.

Os testes antigos perguntavam: "Você sabe onde fica a rua X no mapa?" (O modelo sabia a resposta de cor).
Os novos testes perguntam: "Dirija até a rua X, evitando buracos e seguindo o limite de velocidade." (O modelo muitas vezes batia o carro ou se perdia).

Os autores criaram esses novos testes para que possamos ver a verdadeira capacidade desses modelos de IA, garantindo que eles sejam úteis e seguros para todos, não apenas para quem fala inglês.

1. Problema

Os modelos de linguagem grandes (LLMs) multilíngues são frequentemente avaliados usando benchmarks de dados estáticos (como Belebele, M-MMLU e M-GSM). No entanto, o artigo argumenta que essas avaliações falham em capturar a robustez funcional e o desempenho prático dos modelos em cenários multilíngues reais.

Limitações dos Benchmarks Atuais: Eles dependem de traduções diretas que podem carecer de contexto cultural realista e, mais importante, não testam a capacidade do modelo de seguir instruções variáveis ou realizar raciocínio lógico sob diferentes condições de entrada (permutações).
A Lacuna: Existe uma desconexão entre o desempenho em testes estáticos (memorização de conhecimento) e a execução funcional robusta de prompts em diversos idiomas, especialmente em idiomas de recursos limitados.

2. Metodologia

Os autores propõem uma nova abordagem de avaliação baseada em funcionalidade, criando dois novos benchmarks multilíngues traduzidos e validados:

Novos Benchmarks:
1. CL-GSM Symbolic (Cross-Lingual Grade School Math Symbolic): Uma extensão funcional do GSM-Symbolic. Em vez de perguntas fixas, utiliza um modelo de "template" onde variáveis (números, nomes) e distratores são inseridos dinamicamente. A resposta correta é gerada por uma função matemática fixa ( $f(X)$ ), permitindo verificação automática.
2. CL-IFEval (Cross-Lingual Instruction-Following Eval): Uma extensão do IFEval original. Traduz 541 prompts de instrução verificável, focando na capacidade do modelo de seguir restrições específicas (ex: "use apenas maiúsculas", "não use vírgulas", "escreva exatamente 10 palavras").
Idiomas e Recursos:
- Os templates originais em inglês foram traduzidos para cinco idiomas adicionais, cobrindo um espectro de recursos de NLP: Francês, Espanhol, Hindi, Árabe e Iorubá.
- A seleção baseia-se na cobertura do CommonCrawl (de alto recurso a extremamente baixo recurso).
Processo de Validação Rigoroso:
- Tradução inicial via Google Translate.
- Validação por falantes nativos (pelo menos dois por idioma, incluindo um falante nativo de Iorubá na Nigéria para garantir adequação cultural e dialetal).
- Uso de uma rubrica estruturada para garantir fidelidade de significado, intenção e força das restrições.
- Filtragem de prompts onde restrições (como distinção de maiúsculas/minúsculas) não são aplicáveis em certos sistemas de escrita (ex: Árabe, Hindi), resultando em um conjunto final de 371 prompts para o CL-IFEval.
Modelos Avaliados:
- Avaliação realizada em modelos de pesos abertos (Open-weight) instruídos e multilíngues: Aya 23-35B, Aya Expanse-32B, Gemma-2-9B-it, Qwen3-8B, Mistral-7B-Instruct-v0.3 e Mixtral-8x7B-Instruct-v0.1.
- Uso do Chain-of-Thought (CoT) quando aplicável e métricas de precisão estrita/relaxada.

3. Principais Contribuições

Criação de Benchmarks Funcionais Multilíngues: Introdução do CL-GSM Symbolic e CL-IFEval, que vão além da memorização estática para testar a robustez lógica e a aderência a instruções em múltiplos idiomas.
Descoberta de Discrepâncias de Desempenho: Evidência de que a lacuna entre benchmarks estáticos e funcionais é altamente desigual. Modelos que performam bem em testes estáticos podem falhar drasticamente em tarefas funcionais, especialmente em idiomas de recursos limitados.
Análise de Robustez por Idioma e Estrutura: Demonstração de que a robustez do modelo varia significativamente dependendo do idioma e da estrutura do prompt (ex: certos modelos são estáveis em inglês, mas frágeis em iorubá para tipos específicos de instruções).
Mudança na Hierarquia de Modelos: A avaliação funcional altera o ranking dos modelos. Um modelo que é "top-tier" em benchmarks estáticos pode cair de posição quando avaliado funcionalmente, revelando limitações não detectadas anteriormente.

4. Resultados Chave

Queda de Desempenho (Gap Estático vs. Funcional):
- A queda de desempenho ao migrar de benchmarks estáticos para funcionais é significativa.
- Exemplo: A queda de M-GSM para CL-GSM Symbolic foi de 24% (Inglês), 17% (Francês) e 18% (Espanhol).
- A queda de Belebele para CL-IFEval variou de 15% a 24% entre os idiomas.
- Curiosamente, a queda de M-MMLU para CL-IFEval foi menor (0,5% a 3%), sugerindo que tarefas de conhecimento factual são mais estáveis do que tarefas de raciocínio ou seguimento de instruções complexas.
Disparidade de Idiomas:
- Idiomas de alto recurso (Inglês, Francês, Espanhol) mostram grandes variações de desempenho entre modelos em avaliações funcionais, enquanto em estáticos a variação é menor.
- Idiomas de baixo recurso (como Iorubá) apresentam quedas drásticas. No CL-IFEval, o desempenho em Iorubá variou de 12% a 23%, e no CL-GSMSym de 4% a 14%.
Gap de Desempenho Linguístico:
- Modelos como o Aya-expanse-32B (focado em multilíngue) mostraram um gap de erro de apenas 5,89% entre idiomas de alto recurso em benchmarks estáticos, mas esse gap saltou para 25,88% no CL-IFEval funcional.
- O Qwen3-8B teve um gap de 31% no CL-IFEval, comparado a gaps muito menores (3-14%) em benchmarks estáticos.
Falhas Específicas:
- O modelo falhou consistentemente em categorias de instruções como "Início/Fim" (Start/End) em Iorubá.
- Templates de inferência probabilística (Template 3) geraram os piores resultados consistentes em todos os modelos e idiomas.

5. Significado e Conclusão

O artigo conclui que as avaliações estáticas atuais são insuficientes para garantir a confiabilidade de LLMs em implantações multilíngues do mundo real.

Implicações Práticas: A dependência exclusiva de benchmarks estáticos cria uma falsa sensação de segurança sobre a capacidade de modelos multilíngues. A avaliação funcional revela fragilidades críticas, especialmente em idiomas de recursos limitados e em tarefas que exigem raciocínio lógico ou seguimento estrito de regras.
Futuro: Os autores sugerem que a curadoria de traduções de maior qualidade e a expansão para avaliação de código e multimodalidade são passos necessários. A estrutura de verificação automática proposta pode ser extrapolada para o treinamento e refinamento de modelos de raciocínio multilíngue.

Em resumo, o trabalho fornece uma ferramenta crítica para a comunidade de IA, demonstrando que a competência multilíngue real é muito mais frágil do que os benchmarks tradicionais indicam, exigindo novas métricas focadas na funcionalidade e robustez.