Resumo Técnico: Desvencilhando os Papéis da Linguagem na Execução de Tarefas por LLMs Multilíngues

1. Declaração do Problema

Modelos de Linguagem Grandes (LLMs) multilíngues estão sendo cada vez mais implantados em fluxos de trabalho onde a língua da instrução, a língua do conteúdo fonte e a língua da resposta exigida não coincidem. Embora as avaliações de referência existentes tenham expandido a cobertura linguística e a avaliação de seguimento de instruções, elas geralmente tratam a linguagem como uma variável monolítica ou falham em isolar os papéis específicos de instrução, conteúdo e resposta dentro de um único desenho de avaliação. Consequentemente, quando um modelo falha, permanece incerto se o erro decorre de incompreensão da tarefa, processamento de conteúdo, realização na língua-alvo, seguimento de restrições ou interações entre esses fatores. Este artigo aborda a necessidade de um quadro diagnóstico controlado para avaliar a execução de tarefas multilíngues como uma interação estruturada entre três papéis distintos de linguagem: $(L_{instr}, L_{content}, L_{resp})$.

2. Metodologia: MTM-Bench

Os autores introduzem o MTM-Bench (Benchmark de Desajuste de Tripletos Multilíngues), um benchmark controlado projetado para desvencilhar esses papéis.

Construção do Benchmark

• Desenho: O benchmark emprega um desenho totalmente cruzado usando Inglês (EN), Espanhol (ES) e Chinês (ZH). Ele enumera todos os $3^3 = 27$ tripletos linguísticos possíveis.
• Famílias de Tarefas: O benchmark consiste em 2.430 instâncias por modelo em três famílias de tarefas distintas, cada uma visando um desafio específico de execução:
  1. Reversão Semântica (Família A): Tarefas que exigem que o modelo identifique uma posição subjacente (por exemplo, ironia, sarcasmo) que contradiz a redação superficial.
  2. Extração do Estado Final (Família B): Tarefas envolvendo textos administrativos curtos com atualizações, exigindo a extração do valor válido final (por exemplo, um horário ou contato reagendado) enquanto se adere a formatos de saída estritos.
  3. Pureza Linguística com Realização de Atualização (Família C): Tarefas que exigem que o modelo descreva uma atualização de estado (por exemplo, uma mudança de sala) na língua-alvo, localizando estritamente a estrutura de enquadramento enquanto permite substantivos próprios específicos listados (por exemplo, "Zoom", "Teams").
• Variáveis Controladas: Itens base são reescritos em vez de traduzidos para garantir estabilidade semântica em todas as 27 variantes de tripletos. Metadados, nomes e formatos de resposta são mantidos fixos onde definem a tarefa, enquanto o material lexical é localizado de acordo com o slot linguístico específico.

Protocolo de Avaliação

A avaliação utiliza métricas decompostas para separar diferentes modos de falha:

• Correção Semântica (CS): Mede se a saída captura o significado alvo (por exemplo, polaridade correta para reversão, valor final correto para extração).
• Correção Linguística (CL): Um julgamento binário sobre se a resposta adere à língua de resposta exigida ($L_{resp}$), tratando numerais e nomes próprios listados como neutros em relação à linguagem.
• Correção de Restrições (CR): Verifica restrições explícitas de saída (por exemplo, "apenas saída", "frase única").
• Taxa de Contaminação (TR): Uma medida contínua de material não na língua-alvo na saída.
• Sucesso Conjunto (SC): A métrica agregada definida como $SC = CS \times CL \times CR$, tratando os três requisitos como conjuntamente necessários.

A pontuação é validada por meio de uma auditoria humana direcionada cobrindo casos limítrofes e saídas rotineiras, com uma taxa de anulação a nível de componente de 18,2% para casos direcionados, sugerindo que o pipeline automático lida com a maioria dos casos rotineiros de forma consistente.

3. Contribuições Principais

1. Reenquadramento da Execução Multilíngue: O artigo reenquadra a execução de tarefas multilíngues como um problema de avaliação baseado em tripletos, variando as línguas de instrução, conteúdo e resposta independentemente, em vez de tratá-las como uma única variável indiferenciada.
2. Benchmark Totalmente Cruzado: Oferece um benchmark controlado abrangendo 27 tripletos linguísticos e três famílias de tarefas, pontuado com um protocolo decomposto que isola a correção semântica, a adesão linguística e a satisfação de restrições.
3. Diagnósticos Específicos de Papel: O desenho totalmente cruzado permite comparações marginais que benchmarks agregados não conseguem isolar, revelando que a degradação é organizada pelo papel que uma língua ocupa, e não meramente pela contagem de desajustes.

4. Resultados

Os autores avaliaram 20 LLMs de fronteira e de peso aberto (incluindo as famílias Claude, GPT, Gemini, DeepSeek, Qwen e LLaMA) no benchmark completo.

Desempenho Geral

• Sucesso Conjunto: Variou de 0,537 a 0,840 entre os modelos (média 0,745).
• Métricas de Componente: As métricas individuais foram mais altas (média CL: 0,905, CS: 0,893, CR: 0,880), indicando que satisfazer todos os três requisitos simultaneamente é substancialmente mais difícil do que satisfazê-los isoladamente.
• Variância do Modelo: A classificação geral não se reduziu a qualquer métrica de componente única; modelos que se destacaram na correção semântica às vezes falharam na satisfação de restrições, e vice-versa.

Principais Descobertas sobre Papéis Linguísticos

• Dominância da Língua de Resposta: A língua de resposta é o eixo dominante de variação. O sucesso conjunto caiu significativamente quando a língua de resposta foi Espanhol ($\Delta = -0,108$) ou Chinês ($\Delta = -0,113$) em comparação com o Inglês. Em contraste, variações na língua de instrução ou de conteúdo tiveram efeitos negligenciáveis ($\Delta < 0,03$).
• Contagem de Desajustes vs. Posição do Papel: O artigo desafia a hipótese de que a contagem de desajustes é um preditor monotônico de dificuldade. "Desajuste apenas na resposta" (um desajuste) e "Desajuste total" (três desajustes) produziram níveis de desempenho semelhantes (0,694 vs. 0,705). Isso sugere que, uma vez que a língua de resposta difere do contexto precedente, desajustes adicionais na instrução ou no conteúdo adicionam pouco poder explicativo à dificuldade.
• Gargalos Específicos de Tarefa:
  • Reversão Semântica: Alta correção semântica, mas limitada pela realização na língua de resposta, particularmente para respostas em chinês.
  • Extração do Estado Final: Alta correção linguística, mas falhas frequentes na satisfação de restrições (por exemplo, violando regras de "apenas saída").
  • Pureza Linguística: Alta satisfação de restrições, mas menor correção semântica devido a dificuldades em realizar atualizações sem omitir ou distorcer informações.

5. Significado e Alegações

O artigo alega que a avaliação multilíngue deve rastrear o papel que cada língua desempenha, em vez de colapsar configurações distintas em uma única pontuação agregada.

• Valor Diagnóstico: O desenho totalmente cruzado revela que a degradação é organizada pelo papel que uma língua ocupa. O papel da língua de resposta é a principal fonte de variação, enquanto os papéis de instrução e conteúdo desempenham papéis menores e menos consistentes.
• Dificuldade Não Monotônica: A descoberta de que a contagem de desajustes não é um preditor monotônico de dificuldade sugere que o fardo cognitivo ou arquitetônico da execução multilíngue não é simplesmente aditivo. A transição de um contexto monolíngue para uma língua de resposta desajustada constitui o principal obstáculo.
• Limitações: Os autores observam modestamente que essas descobertas são controladas dentro do cenário EN/ES/ZH e famílias de tarefas específicas (cenários curtos, administrativos e de reversão). Os resultados devem ser interpretados como uma sonda diagnóstica controlada, em vez de uma alegação universal sobre toda a execução de tarefas multilíngues ou desempenho em nível de domínio mais amplo. O benchmark é projetado para diagnóstico específico de papel, em vez de estimar desempenho em nível de domínio amplo.

Em conclusão, o MTM-Bench demonstra que a execução bem-sucedida de tarefas multilíngues exige mais do que fluência geral; exige a capacidade específica de realizar respostas em uma língua-alvo que pode diferir tanto da instrução quanto do conteúdo fonte, uma capacidade com a qual os modelos atuais lutam desproporcionalmente em comparação com a compreensão ou processamento dos outros papéis linguísticos.