Resumo Técnico: Ações Falam Mais Alto que Palavras

Definição do Problema

As avaliações multilíngues atuais de agentes que utilizam ferramentas focam quase exclusivamente na correção da resposta final, descartando os rastros de ações intermediárias. Essa abordagem assume que, se um agente produz a resposta correta em múltiplos idiomas, seu comportamento é consistente. No entanto, para um agente, a "rota" (a sequência de chamadas de ferramentas e etapas intermediárias) é o produto real. Rotas divergentes levam a diferentes custos, latências, modos de falha e problemas de auditabilidade. Uma salvaguarda validada em um rastro em inglês pode não se sustentar para um rastro em outro idioma se a política de ação subjacente for diferente, mesmo que o output final seja idêntico.

O problema central é a falta de uma métrica defensável para medir a retenção de política translinguística: o grau em que um agente executa a mesma sequência de ações para tarefas semanticamente idênticas em diferentes idiomas. Medições de similaridade padrão são pouco confiáveis devido a cinco confusões específicas:

1. Ausência de Baseline: Os modelos não são perfeitamente auticonsistentes; um modelo ao qual se faz a mesma pergunta duas vezes no mesmo idioma frequentemente produz rastros diferentes. Sem um baseline de mesmo idioma, as diferenças translinguísticas não podem ser isoladas.
2. Viés de Comprimento de Rastro: Rastros mais curtos pontuam artificialmente mais alto em métricas de similaridade.
3. Viés de Rastro Vazio: Rastros sem ações pontuam perfeitamente (1.0) em similaridade, distorcendo os resultados.
4. Efeito Teto: O acordo máximo possível é limitado pela própria reprodutibilidade do modelo (auticonsistência).
5. Piso de Acaso: Rastros não relacionados concordam por acaso mais de 50% das vezes, criando um baseline não nulo de similaridade.

Metodologia

Os autores propõem um protocolo para medir a Retenção de Política Normalizada ($\tilde{I}$) corrigindo explicitamente para as cinco confusões listadas acima.

• Configuração Experimental:

  • Modelos: 8 modelos ajustados por instrução (incluindo Gemma-3, Sarvam-M, Qwen3, Llama-4 e GPT-OSS) variando de 4B a 235B de parâmetros, cobrindo arquiteturas densas e de mistura de especialistas (MoE).
  • Tarefas: 6 benchmarks paralelos (FLORES-200, XQuAD, XNLI, Belebele, XCOPA e um conjunto sintético) renderizados em 41 idiomas.
  • Escala: 2,38 milhões de rollouts de agentes através de 505 células.
  • Estrutura (Scaffold): Um scaffold simbólico fixo de uso de ferramentas (Pensamento/Ação/Finalização) com um alfabeto compartilhado de 5 ferramentas. Os rastros são extraídos via regex; as ferramentas são simbólicas (analisadas, mas não executadas).

• Protocolo de Medição:

  • Réplicas: Cada par tarefa-idioma é gerado duas vezes sob condições idênticas (mesmo seed, tarefa, orçamento) para estabelecer um baseline de mesmo idioma ($I_{within}$).
  • Comparação Translinguística: Rastros de diferentes idiomas são comparados ($I_{cross}$).
  • Normalização: A métrica é definida como $\tilde{I} = I_{cross} / I_{within}$. Isso normaliza o acordo translinguístico contra o teto de auticonsistência do próprio modelo.
  • Correções:
    • Igualação de comprimento em ambas as direções para eliminar o viés de comprimento de rastro.
    • Exclusão de rastros vazios.
    • Medição do piso de acaso via permutação, em vez de suposição.
    • Correção para o efeito teto (auticonsistência).

• Intervenções:

  • Escada de Temperatura: Testes através de temperaturas $T \in \{0, 0.3, 0.5, 0.7, 1.0\}$ para distinguir ruído de amostragem de divergência estrutural.
  • Ablação de Pivô em Inglês: Remover a ferramenta Translate ou torná-la obrigatória como o primeiro passo para testar a dependência causal de inglês.
  • Manipulação de Comprimento de Rastro: Variar artificialmente os comprimentos dos rastros para isolar efeitos de comprimento.

Resultados Principais

1. O Efeito Cresce com a Correção

Ao contrário da intuição de que corrigir para confusões reduziria o efeito observado, cada correção aplicada (igualação de comprimento, remoção de rastros vazios, ajuste de piso de acaso) aumentou a divergência medida. O gap bruto entre idiomas era um limite inferior; o gap corrigido era significativamente maior.

2. Convergência na Fronteira

Sob decodificação gulosa ($T=0$), quatro modelos de fronteira diversos (abrangendo diferentes escalas, arquiteturas e misturas de treinamento) convergiram para uma taxa de retenção de política quase idêntica: 71–73%.

• A identidade do modelo explicou apenas 5,7% da variância nesta métrica normalizada.
• Em contraste, em $T=0.5$ (com amostragem incluída), a identidade do modelo explicou 74,8% da variância, e os rankings inverteram-se completamente.
• Isso sugere que a retenção de política translinguística é uma propriedade estrutural dos modelos sob decodificação gulosa, não um artefato de ruído de amostragem.

3. A Fronteira da Regularidade

A regularidade de 71–73% quebra para modelos abaixo de aproximadamente 10B de parâmetros.

• Modelos menores (4B, 8B) mostraram alta variabilidade.
• A ordem aparente dos modelos pequenos baseada em métricas brutas era em grande parte um artefato do "piso de acaso" (rastros mais curtos em modelos menores levaram a pontuações de similaridade artificialmente altas). Uma vez corrigido, o ranking dos modelos pequenos inverteu-se.

4. O Mecanismo de Pivô em Inglês

O estudo identifica um mecanismo causal para a divergência: Agentes roteiam tarefas não inglesas através de um pivô em inglês.

• Translate foi a ferramenta mais utilizada em todos os benchmarks para modelos complacentes.
• O texto de raciocínio era ~99% ASCII, mesmo para scripts não latinos.
• Teste Causal: Remover a ferramenta Translate reduziu o acordo translinguístico proporcionalmente à dependência que o modelo tinha dela. Tornar a tradução obrigatória melhorou a retenção para modelos com "espaço de manobra" (baixo uso de base de tradução).
• Robustez: Instruir os modelos a raciocinar no idioma da tarefa falhou (<1% de conformidade), indicando que o pivô em inglês é uma preferência estrutural, não um padrão estilístico que possa ser removido via prompt.

5. Patologia de Medição

O artigo destaca uma falha crítica de medição: um único regex de extração de rastro fez um modelo competente (GPT-OSS-120B) parecer quebrado.

• O modelo respondeu em prosa ("Usaremos o Translate") em vez da sintaxe exigida, resultando em 76,4% de rastros vazios.
• Como rastros vazios pontuam 1.0 em similaridade, o modelo pareceu ter alta invariância, mas quase zero de acurácia.
• Adicionar dois exemplos de poucos disparos (few-shot) restaurou a capacidade de parsing, aumentando a acurácia medida em 26 vezes sem mudar a capacidade real do modelo, apenas sua legibilidade.

Significância e Alegações

O artigo afirma que a paridade de nível de resposta é compatível com uma divergência comportamental significativa, o que tem implicações reais para custo, latência e segurança.

• Contribuição de Métrica: Os autores fornecem um estimando corrigido pelo teto ($\tilde{I}$) e um protocolo que contabiliza cinco confusões específicas, duas das quais são estabelecidas causalmente.
• Insight Estrutural: A divergência translinguística não é ruído aleatório, mas uma propriedade estrutural onde os modelos retêm cerca de 71–73% de sua política de ação quando o idioma muda, desde que sejam grandes o suficiente e decodificados de forma gulosa.
• Mecanismo: A dependência de um pivô em inglês é um fator causal de sustentação que os modelos resistem em abandonar, mesmo quando explicitamente instruídos a fazê-lo.
• Validade: O estudo demonstra que a extração de rastro padrão baseada em regex pode fabricar falhas multilíngues aparentes, necessitando o reporte de taxas de falha de parsing junto com a acurácia.

O trabalho preenche a lacuna entre benchmarks de agentes (que focam em resultados) e avaliação translinguística (que foca em previsões finais), argumentando que a própria política de ação deve ser o objeto medido para compreender verdadeiramente o comportamento de agentes multilíngues.