Discovering Cross-Language Reasoning Invariance in LLMs with Geometry-Invariant Sparse Autoencoders

Os modelos de linguagem de grande escala são os motores por trás de muitas das ferramentas de inteligência artificial mais avançadas de hoje, capazes de ler, escrever e resolver problemas em dezenas de idiomas. Durante anos, pesquisadores se perguntaram como esses sistemas lidam com a complexidade de serem multilíngues. Quando um modelo resolve um problema matemático em inglês e depois resolve o exato mesmo problema em chinês, ele usa a mesma maquinaria mental interna para ambos ou muda para um conjunto de regras completamente diferente para cada idioma? Esta questão é importante porque, se o modelo utiliza uma linguagem interna compartilhada para o raciocínio, poderíamos entender sua lógica uma única vez e aplicar esse entendimento a todos os idiomas que ele fala. Se, no entanto, ele depende de caminhos separados e específicos de cada idioma, entender uma versão do modelo nos diz muito pouco sobre as outras. O campo da interpretabilidade mecanística tenta olhar para dentro desses modelos para ver como eles funcionam, tratando seus estados internos como uma placa de circuito complexa que pode ser mapeada e compreendida.

Uma equipe de pesquisadores partiu para responder a essa pergunta, espiando o funcionamento interno de cinco modelos de linguagem de grande escala diferentes. Eles focaram em uma tarefa específica: resolver problemas matemáticos do ensino fundamental. Eles pegaram um conjunto de dados de 250 problemas matemáticos e pediram a cada modelo que resolvesse esses problemas em seis idiomas diferentes: inglês, alemão, francês, espanhol, russo e chinês. Para garantir que estivessem comparando maçãs com maçãs, eles mantiveram apenas os problemas onde o modelo obteve a resposta correta e produziu um caminho de raciocínio claro e passo a passo em cada um dos idiomas. Os pesquisadores então registraram a atividade interna do modelo em vários estágios do processo, capturando os padrões específicos de sinais semelhantes à eletricidade que disparavam dentro do computador enquanto ele pensava na solução.

Para dar sentido a esses sinais complexos, os pesquisadores utilizaram uma ferramenta chamada autoencoder esparso. Você pode pensar nisso como uma forma de traduzir o ruído interno caótico do modelo em uma lista de conceitos distintos e compreensíveis. Assim como um ser humano poderia descrever uma cena listando seus elementos principais — céu, árvore, cachorro, carro — o autoencoder decompõe a atividade do modelo em um conjunto de características ativas. Os pesquisadores treinaram duas versões desta ferramenta para cada camada dos modelos. A primeira versão simplesmente aprendeu a descrever o que via em um único idioma. A segunda versão foi treinada com uma instrução especial: ela tinha que aprender a descrever o mesmo problema matemático usando o mesmo conjunto de características, independentemente de o problema ser apresentado em inglês ou chinês. Esta segunda versão foi projetada para forçar o modelo a encontrar um terreno comum, uma linguagem interna compartilhada para o raciocínio.

Os resultados revelaram uma realidade surpreendente sobre como esses modelos pensam. Os pesquisadores descobriram que simplesmente fazer com que as descrições internas parecessem mais semelhantes geometricamente não garantia que o modelo estivesse realmente usando a mesma lógica. Em alguns modelos, forçar o alinhamento das características internas entre os idiomas tornou o raciocínio do modelo mais robusto e intercambiável. Em outros, não fez diferença alguma e, em um caso, tornou o desempenho do modelo pior quando tentaram trocar partes do raciocínio de um idioma para outro. Isso aconteceu porque os modelos já haviam se estabelecido em hábitos muito diferentes. Uma família de modelos naturalmente desenvolveu uma forma de pensar compartilhada à medida que avançava no problema, de modo que o novo treinamento ajudou a refinar esse caminho compartilhado. Outra família já havia construído uma estrutura compartilhada tão forte que o novo treinamento não tinha nada a acrescentar. Uma terceira família manteve seus idiomas estritamente separados, e a tentativa de forçá-los a se unir criou confusão em vez de clareza.

O estudo examinou cinco modelos específicos de quatro famílias diferentes, variando de 1,7 bilhão a 4 bilhões de parâmetros. Eles descobriram que o sucesso da criação de uma linguagem de raciocínio compartilhada dependia inteiramente da arquitetura existente do modelo. Nos modelos que exibiram um padrão "convergente", onde as características compartilhadas se tornavam mais fortes à medida que o modelo processava mais o problema, o novo método de treinamento funcionou perfeitamente, melhorando a capacidade do modelo de raciocinar entre idiomas em todas as camadas testadas. Nos modelos que já estavam "saturados" com características compartilhadas, o novo treinamento não trouxe benefícios e, às vezes, interrompeu o fluxo natural do modelo. Nos modelos que permaneceram de "baixo compartilhamento", onde os idiomas permaneceram majoritariamente separados, o novo treinamento falhou em criar uma ponte funcional, embora tenha feito os sinais internos parecerem mais semelhantes no papel.

Este trabalho desafia uma suposição comum no campo: a de que, se duas coisas parecem semelhantes em um gráfico, elas devem funcionar da mesma forma. Os pesquisadores provaram que um modelo pode ter características que parecem geometricamente alinhadas entre idiomas, mas ainda assim falhar em ser intercambiável. Eles mostraram que o caminho para entender modelos multilíngues não é uma solução única para todos. Em vez disso, a lógica interna de um modelo está profundamente ligada ao seu design específico. Alguns modelos constroem naturalmente um motor de raciocínio universal, enquanto outros mantêm seus idiomas em salas separadas. Os pesquisadores concluíram que, para realmente entender como uma inteligência artificial pensa através dos idiomas, devemos olhar para a arquitetidade específica de cada modelo, em vez de assumir que todos seguem as mesmas regras ocultas.