mmPISA-bench: Do LLMs Reason Equally Well Across 43 Languages?
Este artigo apresenta o mmPISA-bench, um benchmark de raciocínio multilíngue derivado do PISA em 43 idiomas, demonstrando que os LLMs modernos alcançam um desempenho de raciocínio comparável ao humano com uma degradação mínima proveniente da tradução automática, embora revele variações significativas na precisão e nos custos de inferência entre diferentes idiomas.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você tem um aluno superinteligente que consegue falar quase qualquer idioma. Você quer saber: este aluno é igualmente inteligente ao fazer uma prova em francês como é ao fazer em inglês? Ou, se você der a ele uma prova escrita em um idioma que ele não conhece nativamente (mas traduzida por um robô), ele ainda consegue acertar as respostas?
Este artigo, chamado mmPISA-bench, é como um boletim multilíngue massivo para dois dos "alunos" de IA mais avançados do mundo (especificamente, modelos da OpenAI e da Anthropic). Aqui está o detalhamento do que eles descobriram, usando algumas analogias do cotidiano.
1. O Teste: Um Exame Global de Matemática e Leitura
Os pesquisadores não inventaram perguntas aleatórias. Eles pegaram 25 questões reais do exame PISA — o famoso teste internacional que alunos de 15 anos ao redor do mundo fazem para provar que conseguem resolver problemas matemáticos e compreender textos de leitura.
- A Configuração: Eles pegaram essas 25 questões e as traduziram para 43 idiomas diferentes.
- A Reviravolta: Para cada idioma, eles tiveram duas versões:
- A Versão "Oficial": Traduzida por especialistas humanos (como um tradutor profissional).
- A Versão "Robô": Traduzida pelo Google Translate (tradução automática).
- O Objetivo: Ver se a IA conseguiria resolver esses enigmas lógicos em todos os 43 idiomas, e se importava se a tradução foi feita por um humano ou por um robô.
2. Os Resultados: Os Alunos de IA são Igualmente Inteligentes em Todos os Lugares?
A Boa Notícia: Sim, na maioria das vezes.
Os modelos de IA tiveram um desempenho muito bom em todos os 43 idiomas. Na verdade, sua precisão foi frequentemente comparável ao que se esperaria de um aluno humano brilhante de 15 anos. Eles não "esqueceram" subitamente como fazer matemática só porque a pergunta estava em islandês ou tailandês.
O Porém: Não era perfeitamente igual.
- O Efeito "Dialeto": Assim como um humano pode se sentir ligeiramente mais confortável lendo uma história em sua língua nativa do que em uma segunda língua, a IA foi ligeiramente mais precisa em alguns idiomas do que em outros.
- O Mito da Tradução pelo "Robô": Você pode pensar: "Se a pergunta for traduzida por um robô, a IA ficará confusa". O artigo diz que não. A IA acertou as respostas com a mesma frequência com as traduções do "Robô" do que com as "Humanas". Isso é algo importante, pois significa que nem sempre precisamos de tradutores humanos caros para testar a IA em novos idiomas; uma boa tradução automática funciona bem.
3. O Custo Escondido: O Preço do "Pensamento"
É aqui que o artigo fica realmente interessante. Não se trata apenas de acertar a resposta; trata-se de quanto custa para chegar lá.
Imagine dois alunos fazendo uma prova:
- Aluno A (Claude): Escreve uma explicação muito longa e detalhada para cada resposta.
- Aluno B (GPT): Escreve explicações mais curtas.
Os pesquisadores descobriram que, para alguns idiomas, a IA teve que "pensar" muito mais (escrever mais texto) para obter a resposta correta, o que tornou o teste mais caro de ser executado.
- Idiomas "Caros e Desajeitados": Para certos idiomas (como o tailandês para um modelo, ou o grego para o outro), a IA teve que gerar uma quantidade enorme de texto para resolver um problema simples. Foi como pagar uma viagem de táxi de luxo apenas para ir até a esquina.
- O Resultado: Nesses idiomas "caros", a IA foi, na verdade, menos precisa e mais custosa ao mesmo tempo. É um golpe duplo: você paga mais e recebe um resultado pior.
4. A Troca Secreta de Idioma
Os pesquisadores também espiaram "sob o capô" para ver como a IA estava pensando. Eles descobriram algo surpreendente:
- Às vezes, quando a IA era questionada em cazaque, ela não apenas pensava em cazaque ou inglês. Ela na verdade começava a fazer sua matemática e lógica em russo antes de dar a resposta de volta em cazaque.
- É como uma pessoa que fala espanhol e inglês, mas, quando se depara com um problema matemático difícil, instintivamente muda para o francês para pensar, porque é lá que reside seu "cérebro matemático". A IA estava fazendo algo semelhante, usando uma "língua pivô" para resolver o problema.
Resumo: O Que Isso Significa?
- A IA está ficando boa em idiomas: A IA moderna consegue raciocinar através de enigmas lógicos em 43 idiomas diferentes quase tão bem quanto um adolescente humano.
- A tradução automática é aceitável: Você não precisa de traduções humanas perfeitas para testar a IA; as traduções de robôs funcionam perfeitamente bem.
- O idioma importa para o custo: Alguns idiomas são "mais difíceis" para a IA processar. Eles fazem a IA falar mais (o que custa dinheiro) e, às vezes, fazem com que ela cometa mais erros.
- Precisamos olhar mais profundamente: Para entender verdadeiramente quão boa uma IA é, não podemos olhar apenas para a pontuação final. Temos que olhar para quanto "esforço" (e dinheiro) foi necessário para obter essa pontuação, e em quais idiomas ela estava secretamente pensando.
Em resumo, a IA é um gênio poliglota, mas ainda possui alguns "dialetos" onde ela tropeça um pouco e gasta muito mais de sua mesada para realizar o trabalho.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.