Resumo Técnico: STEEREVAL – Intervenções em Tempo de Inferência para Métricas de Sumarização Neural Multilíngue

Declaração do Problema

A avaliação de tarefas de Geração de Linguagem Natural (NLG), particularmente a sumarização, enfrenta um gargalo significativo em ambientes multilíngues. Embora métricas como BLEU e ROUGE tenham estabelecido a avaliação automática, tendências recentes favorecem métricas baseadas em modelos (ex: BERTScore, COMET) e Grandes Modelos de Linguagem (LLMs) como juízes devido à sua mais forte correlação com julgamentos humanos. No entanto, estudos empíricos indicam que essas métricas multilíngues frequentemente falham em correlacionar-se bem com julgamentos humanos em diversas línguas.

Os autores hipotetizam que essa lacuna de desempenho decorre da arquitetura interna de LLMs multilíngues, que frequentemente utilizam o inglês como uma "língua pivô" para processamento. Quando um modelo processa uma língua de baixo recurso, as representações internas podem desalinhar-se com este pivô em inglês, levando a um desempenho degradado em tarefas subsequentes. Este desalinhamento, anteriormente vinculado a problemas de tradução automática, é proposto aqui como uma causa raiz para o baixo desempenho de métricas na avaliação de sumarização não inglesa.

Metodologia

O artigo propõe o STEEREVAL, um framework que aplica intervenções em tempo de inferência para "direcionar" (steer) as ativações internas das métricas neurais em direção a um pivô em inglês. Esta abordagem não requer retreinamento do modelo. A metodologia envolve duas técnicas primárias de intervenção aplicadas em tempo de teste:

1. Intervenção Baseada em Vetor: Com base na hipótese da representação linear, os autores calculam um vetor de direcionamento que representa a direção de uma língua de origem ($h_s$) para o inglês ($h_t$) usando dados paralelos (dataset FLORES).

   • O vetor é calculado como a diferença entre as representações médias das línguas alvo e de origem: $\bar{h}_v = \bar{h}_t - \bar{h}_s$.
   • Na inferência, este vetor é adicionado às ativações do modelo: $h^{mix}_{q,l} = h_s + \rho \bar{h}_v$, onde $\rho$ controla a força do direcionamento.

2. Intervenção Baseada em Mapa: Inspirado em trabalhos recentes sobre geração translingual, este método aprende uma matriz de mapeamento linear $W_l$ que projeta as representações da língua de origem no espaço da língua alvo.

   • O mapeamento é aprendido minimizando a distância entre as representações de origem e alvo em dados paralelos.
   • Na inferência, a representação de origem é projetada e misturada com a original: $h^{mix}_{q,l} = (1 - \sigma)h_s + \sigma \hat{h}_t$, onde $\sigma$ controla o grau de desvio.

Os autores avaliam estas intervenções em dois tipos de métricas:

• LLM-as-a-Judge (LLM como Juiz): Prompt direto (pontuação de 1–5) e GPTScore (usando probabilidades de geração condicional). Modelos testados incluem Llama-3-8B, Bloom-7B e Aya-Expanse (8B e 32B).
• Métrica Baseada em Encoder: COMET (especificamente o modelo wmt22-comet-da), que é tipicamente usado para tradução automática, mas adaptado aqui para sumarização.

A avaliação é conduzida em um dataset de meta-avaliação cobrindo oito línguas tipologicamente diversas (árabe, espanhol, hebraico, japonês, turco, ucraniano, iorubá, chinês) com julgamentos humanos sobre coerência e completude.

Resultados Principais

O estudo demonstra que direcionar as ativações em direção a um pivô em inglês melhora consistentemente a correlação entre métricas neurais e julgamentos humanos:

• Melhoria Geral: Métodos de direcionamento (tanto Vetor quanto Mapa) quase sempre melhoram a correlação em relação aos baselines sem direcionamento. Em muitos casos, particularmente onde o desempenho do baseline era baixo, a melhoria relativa ($\Delta\%$) excedeu 100%, efetivamente dobrando a correlação.
• Impacto em Línguas de Baixo Recurso: Línguas com desempenho de baseline mais fraco (ex: hebraico, turco, iorubá) beneficiaram-se mais do direcionamento. Por exemplo, o prompting direto do Bloom-7B para coerência em japonês melhorou de uma correlação próxima de zero para 0,18 após o direcionamento.
• Especificidade da Métrica:
  • COMET: Mostrou alta responsividade ao direcionamento, com grandes melhorias em quase todas as línguas e dimensões.
  • Prompt Direto: Exibiu comportamento altamente variável. Embora os ganhos relativos fossem frequentemente dramáticos, eles ocorriam frequentemente quando as correlações de baseline estavam próximas de zero, resultando em correlações absolutas modestas.
  • GPTScore: Beneficiou-se moderadamente do direcionamento, com retornos decrescentes observados quando a correlação de baseline já era forte.
• Vetor vs. Mapa: O direcionamento por vetor geralmente produziu maiores ganhos do que o direcionamento baseado em mapa, particularmente para o COMET e pares língua-métrica de baixo desempenho. No entanto, a força ideal de direcionamento ($\rho$ ou $\sigma$) variou significativamente por língua, sugerindo que um parâmetro global único é suboptimal.
• Língua Pivô: Experimentos utilizando o francês como uma alternativa de língua pivô também resultaram em melhorias significativas, apoiando a hipótese de que o direcionamento para uma língua de alto recurso e bem alinhada aumenta o desempenho.

Principais Contribuições

1. Direcionamento de Ativação para Métricas: O artigo introduz e valida a aplicação de técnicas de direcionamento de ativação em métricas de sumarização multilíngue. Esta é a primeira exploração de direcionamento para métricas baseadas em encoder (como o COMET) e mostra melhorias consistentes para avaliadores baseados em LLM.
2. Meta-análise Multilíngue: Os autores fornecem uma meta-análise abrangente de métricas de sumarização baseadas em modelos em oito línguas diversas, destacando a inconsistência das abordagens atuais de LLM-as-a-judge em contextos não ingleses.
3. Similaridade de Vetor Translingual: O estudo mede empiricamente a similaridade de vetores de direcionamento língua-inglês através das camadas. Descobre-se que estes vetores são amplamente similares entre as línguas (exceto por outliers como o iorubá), corroborando trabalhos anteriores sobre a geometria compartilhada das representações linguísticas.

Significância e Alegações

O artigo alega que a dependência interna dos LLMs multilíngues do inglês como pivô é um fator crítico que limita a confiabilidade da avaliação automática em outras línguas. Ao corrigir explicitamente este desalinhamento em tempo de inferência, o STEEREVAL oferece um método prático e livre de treinamento para aumentar o desempenho das métricas.

Os autores posicionam este trabalho como um passo para aproveitar os insights internos dos modelos para cenários de avaliação prática. Eles observam que, embora o foco seja a sumarização, os achados sugerem que o direcionamento pode ser uma estratégia generalizável para melhorar a generalização multilíngue em métricas neurais. O artigo permanece modesto quanto às implicações futuras, sugerindo que trabalhos futuros poderiam investigar a combinação de intervenções específicas de língua e de dimensão, mas não propõe novas aplicações específicas além do escopo da avaliação de métricas.