Skill Issue: Are Skills Language-Invariant in LLMs?

Os grandes modelos de linguagem são os motores por trás de muitas das ferramentas de inteligência artificial que usamos hoje, capazes de escrever histórias, resolver problemas e responder a perguntas em dezenas de idiomas. Durante anos, pesquisadores souberam que esses sistemas não apresentam o mesmo desempenho em todas as línguas; um modelo pode ser brilhante ao responder a uma pergunta de história em inglês, mas ter dificuldade em encontrar o mesmo fato quando perguntado em árabe ou chinês. Essa inconsistência geralmente era atribuída aos dados nos quais os modelos foram treinados, assumindo que alguns idiomas simplesmente possuem menos informações disponíveis para ensinar a máquina. No entanto, uma nova linha de investigação faz uma pergunta mais profunda: o problema é apenas sobre o que o modelo sabe, ou é sobre o que o modelo consegue realmente fazer? Poderia ser que a mesma mente artificial possua diferentes conjuntos de habilidades dependendo de qual língua está falando, mesmo quando a tarefa em si permanece exatamente a mesma?

Uma equipe de pesquisadores partiu para responder a isso tratando a linguagem não como um objeto de estudo, mas como uma variável em um experimento controlado. Eles recorreram a um conceito familiar: o jogo. Ao colocar duas cópias idênticas do mesmo modelo de inteligência artificial em uma arena digital para jogarem uma contra a outra, eles criaram um teste perfeito de habilidade. Nesta configuração, as regras do jogo, o tabuleiro, as cartas e os movimentos possíveis permaneceram congelados e idênticos para ambos os jogadores. A única coisa que mudava era a língua usada para descrever a situação. Um jogador recebia instruções e via o estado do jogo em inglês, enquanto seu oponente via exatamente o mesmo tabuleiro e regras traduzidos para o alemão, hebraico, chinês ou um de vários outros idiomas. Como os modelos eram idênticos e as mecânicas do jogo eram fixas, qualquer diferença em quem vencia tinha que vir da interface linguística em si, e não de uma diferença de conhecimento ou inteligência.

Os pesquisadores construíram um enorme campo de testes chamado uma extensão multilíngue de uma plataforma de jogos conhecida como TextArena, que lhes permitiu realizar milhares de partidas em seis tipos diferentes de jogos. Esses jogos variavam de simples quebra-cabeças espaciais, como o Jogo da Velha, onde os jogadores devem visualizar uma grade, a jogos estratégicos complexos envolvendo alocação de recursos e blefe. Eles testaram três modelos de código aberto diferentes, cada um com tamanho semelhante, colocando-os contra si mesmos em oito idiomas diferentes. Os resultados revelaram uma realidade alarmante: o mesmo modelo pode ser um mestre estrategista em uma língua e um novato desajeitado em outra. Em alguns casos, o modelo jogando em inglês derrotava consistentemente sua própria versão jogando em hebraico ou árabe, não porque sabia mais sobre o jogo, mas porque a língua em si parecia desbloquear ou bloquear sua capacidade de pensar com clareza.

A natureza dessas falhas foi específica e reveladora. Em jogos que exigiam raciocínio espacial, como conectar linhas em uma grade, os modelos jogando em línguas que utilizam alfabetos não latinos, como o árabe ou o hebraico, frequentemente cometiam erros que pareciam um mal-entendido fundamental do tabuleiro. Eles frequentemente falhavam em ver uma linha vencedora que corria diagonalmente ou verticalmente, tratando a grade como se as linhas horizontais fossem a única coisa que importasse. Em jogos de sorte e estratégia, como uma forma simplificada de pôquer, os modelos mudavam toda a sua personalidade dependendo do idioma. Um modelo poderia jogar de forma cautelosa e honesta em uma língua, mas tornar-se agressivo e propenso a blefes arriscados em outra, mesmo que as cartas em sua mão fossem idênticas. Os pesquisadores descobriram que esses não eram erros aleatórios; eram mudanças sistemáticas de comportamento que dependiam inteiramente das palavras usadas para enquadrar o problema.

Talvez a descoberta mais surpreendente tenha sido que o problema nem sempre era sobre a língua que o modelo estava lendo, mas a língua que ele usava para pensar. Em alguns experimentos, os pesquisadores mantiveram as instruções do jogo em uma língua mais fraca, como o alemão, mas instruíram o modelo a realizar seu raciocínio interno em inglês. Essa simples mudança permitiu que o modelo recuperasse grande parte de seu desempenho perdido, sugerindo que a barreira linguística não era apenas um problema de tradução, mas sim cognitivo. O modelo podia acessar seu pleno potencial estratégico se fosse permitido "pensar" em uma língua mais forte, mesmo enquanto jogava em uma língua mais fraca. Isso indica que a interface linguística afeta os próprios estágios de tomada de decisão, desde a compreensão do estado atual do jogo até a seleção do melhor movimento.

O estudo também analisou se essas diferenças poderiam ser explicadas pela quantidade de texto que existe na internet para cada idioma. Embora seja verdade que os idiomas com mais dados disponíveis geralmente apresentavam melhor desempenho, esse fator não contava a história toda. Alguns idiomas com relativamente poucos dados na web ainda permitiam que os modelos jogassem muito bem, enquanto outros com abundância de dados resultavam em um desempenho ruim. Isso sugere que a questão não é apenas sobre a quantidade de material de treinamento, mas sobre como o modelo aprendeu a conectar habilidades através de diferentes sistemas linguísticos. As descobertas implicam que, para que a inteligência artificial seja verdadeiramente confiável e justa, os desenvolvedores não podem simplesmente assumir que as habilidades de um modelo são consistentes em todas as línguas. A língua que um modelo fala não é apenas uma janela para seu conhecimento; é uma lente que pode distorcer suas habilidades, mudando como ele vê o mundo e como joga o jogo.