Resumo Técnico: "Os modelos multilíngues estão realmente melhorando? Isolando a verdadeira transferência translinguística"

Declaração do Problema

A transferência translinguística (XLT - Cross-Lingual Transfer) é definida como a capacidade de um modelo de generalizar capacidades de línguas de origem bem representadas (tipicamente o inglês) para línguas de destino sub-representadas. Embora benchmarks multilíngues sejam comumentamente usados para rastrear o progresso nesta área, os autores argumentam que as métricas existentes confundem melhorias genuínas de transferência com melhorias gerais na precisão da língua de origem.

As medidas padrão atuais incluem:

1. Precisão Absoluta no Destino: Medir o desempenho apenas na língua de destino.
2. Gap de XLT: A diferença absoluta entre a precisão da origem e a do destino.
3. Pontuação de Transferência: A proporção de questões do destino respondidas corretamente dado um acerto na predição da origem.

O artigo identifica uma falha crítica nessas métricas: as precisões da origem e do destino estão fortemente acopladas de forma linear (com $R^2 > 0,94$). À medida que as capacidades gerais do modelo (ex: raciocínio, factualidade ou escala) melhoram, as precisões da origem e do destino aumentam previsivelmente. Consequentemente, um aumento na precisão do destino pode simplesmente refletir um melhor desempenho da origem em vez de uma melhoria nos mecanismos de transferência. Da mesma forma, o gap de XLT pode sugerir erroneamente uma piora na transferência à medida que os modelos escalam, mesmo quando o perfil de transferência subjacente melhora.

Metodologia

A Pontuação de Transferência Ajustada pela Dificuldade (HAT Score)

Para abordar o efeito de confusão das melhorias gerais da origem, os autores propõem a Pontuação de Transferência Ajustada pela Dificuldade (HAT Score). Esta métrica é derivada de primeiros princípios para isolar a fração do desempenho que se traduz da origem para o destino, independentemente da dificuldade absoluta da origem ou da proficiência geral do modelo.

Definição Teórica:
Sejam $S$ e $T_\ell$ as taxas de acerto para a língua de origem e a língua de destino $\ell$, respectivamente. O perfil de transferência ideal é definido pela expectativa condicional $E[T_\ell | S=s, M]$. Se um modelo possui transferência perfeita, este perfil alinha-se com a reta $y=x$.

A Pontuação HAT é definida como a precisão esperada do destino normalizada sob uma distribuição uniforme de precisões da origem, removendo efetivamente o viés introduzido pela distribuição específica de precisão da origem do modelo:
$$\text{HAT Score} = 2 \int_{0}^{1} E[T_\ell | S=s, M] \, ds$$
O multiplicador 2 garante que a pontuação seja limitada ao intervalo $[0, 1]$.

Estimativa Empírica:
Como $E[T_\ell | S, M]$ não é diretamente observável, os autores estimam-na utilizando uma abordagem de regressão linear:

1. Para cada instância do conjunto de dados, o modelo é solicitado $N=10$ vezes tanto nas línguas de origem quanto nas de destino para estimar as taxas de acerto ($s^{(i)}$ e $t^{(i)}$).
2. Um regressor linear é ajustado aos pares $(s^{(i)}, t^{(i)})$ para aproximar a expectativa condicional, restrito de modo que $T=0$ quando $S=0$.
3. A inclinação desta reta ajustada ($\hat{m}$) serve como a Pontuação HAT.

Configuração Experimental

O estudo avalia 20 Grandes Modelos de Linguagem (LLMs) diversos de cinco famílias (Gemini, Gemma, Qwen, GPT-OSS, Claude), abrangendo tamanhos de 1B a 120B de parâmetros e variando orçamentos de "pensamento" (profundidades de raciocínio).

A avaliação é conduzida em três benchmarks multilíngues:

1. ECLeKTic: QA de fatos translinguísticos.
2. MGSMv2: Raciocínio matemático multilíngue (uma versão corrigida do MGSM).
3. MMLU-ProX-Lite: Raciocínio de múltipla escolha e conhecimento conceitual multilíngue.

Para MGSMv2 e MMLU-ProX-Lite, o inglês é a língua de origem. Para o ECLeKTic, a língua de origem varia por questão com base no artigo original da Wikipedia.

Principais Resultados

1. Validação de HAT vs. Métricas Tradicionais

Os autores demonstram que as métricas tradicionais frequentemente representam mal o progresso:

• Precisão no Destino: Pode indicar falsamente progresso quando o perfil de transferência permanece inalterado, simplesmente porque a distribuição de precisão da origem se deslocou para valores mais altos (ex: modelos maiores).
• Gap de XLT: Pode indicar falsamente uma regressão (piora na transferência) à medida que os modelos escalam, mesmo quando o perfil de transferência (inclinação) melhora.
• Pontuação HAT: Permanece robusta a deslocamentos na distribuição de precisão da origem, fornecendo um indicador confiável da verdadeira força de transferência.

2. Progresso com o Tamanho do Modelo

• Modelos Pequenos: A transferência não está "quebrada" em modelos pequenos (1B–4B). As pontuações HAT para estes modelos variam entre 50% e 80%, indicando que a precisão do destino é uma fração significativa da precisão da origem. As métricas tradicionais, contudo, fornecem estimativas excessivamente pessimistas para modelos pequenos.
• Tendências de Escala: Embora modelos maiores mostrem uma melhoria na transferência, o progresso é mais lento do que o esperado em relação aos aumentos no tamanho do modelo. A pontuação HAT revela que os ganhos em XLT são mais graduais do que a precisão bruta do destino sugere.

3. Progresso ao Longo do Tempo

• Benchmarks de Raciocínio: Para MGSMv2 e MMLU-ProX-Lite, modelos mais recentes (pós-2025) mostram um deslocamento significativo em direção à linha de "transferência perfeita". As medianas das pontuações HAT melhoraram de 0,75 para 0,93 (MMLU-ProX-Lite) e de 0,90 para 0,97 (MGSMv2), sugerindo que estes benchmarks estão quase resolvidos em termos de XLT.
• Benchmarks de Fatos: Não é observado tal tendência para o ECLeKTic, onde o progresso parece estagnado.

4. Fatores que Influenciam a Transferência

• Arquitetura do Modelo e Pré-treinamento: Diferenças nas pontuações HAT entre famílias de modelos de tamanhos comparáveis (ex: GPT-OSS vs. Gemma vs. Qwen) sugerem que as receitas de pré-treinamento são mais influentes na transferência do que o tamanho do modelo isoladamente.
• Orçamento de Pensamento/Raciocínio: Habilitar o "pensamento" (profundidade de raciocínio) melhora a XLT em todos os benchmarks. Os autores observam que os modelos alocam tokens adicionais para prompts não ingleses (5–20% mais longos), sugerindo um mecanismo para a ponte linguística.
• Similaridade de Escrita (Script): A transferência é significativamente mais fraca entre línguas com escritas diferentes apenas no ECLeKTic (QA de fatos). Para tarefas de raciocínio (MGSMv2, MMLU-ProX-Lite), as diferenças de escrita não degradam significativamente as pontuações HAT.

Significância e Alegações

O artigo alega que o campo tem interpretado mal o progresso na transferência translinguística devido ao acoplamento das precisões da origem e do destino. Ao introduzir a Pontuação HAT, os autores fornecem uma métrica que desvincula as melhorias de capacidade geral dos ganhos reais de transferência.

Os autores concluem que:

1. A transferência em modelos pequenos é funcional, ao contrário das visões pessimistas derivadas da precisão bruta do destino.
2. O progresso em XLT é mais lento do que o antecipado em relação à escala dos modelos, desafiando a suposição de que aumentar parâmetros resolve automaticamente as lacunas multilíngues.
3. Os benchmarks atuais estão próximos da saturação para tarefas de raciocínio (MGSMv2, MMLU-ProX-Lite), necessitando do desenvolvimento de benchmarks mais desafiadores e motivados por aplicações práticas (ex: tarefas de múltiplos passos) para continuar medindo o progresso significativo.

Este trabalho serve como um chamado à ação para que a comunidade adote métricas mais fundamentadas como a HAT para avaliar e impulsionar com precisão a pesquisa em generalização translinguística.