Resumo Técnico: Falando em Línguas de Autoavaliação

Declaração do Problema

A rápida adoção de Modelos de Linguagem de Grande Escala (LLMs) para Tradução Automática (MT) destacou um problema crítico de confiabilidade: os LLMs são mal calibrados para tarefas de tradução. Diferente de tarefas de classificação, onde existe uma única resposta correta, a tradução envolve "competição de formas superficiais", onde múltiplas realizações sintáticas ou semânticas válidas competem entre si. Consequentemente, sinais internos, como probabilidades de tokens ou entropia, frequentemente refletem incerteza entre alternativas válidas concorrentes, em vez da correção do output selecionado. Além disso, a dependência de sinais internos exige acesso aos componentes internos do modelo, o que é frequentemente indisponível para modelos de código fechado. Há uma necessidade de métodos não supervisionados e robustos para estimar a confiança por token que não sofram com essas limitações.

Metodologia

Os autores propõem e avaliam cinco métodos verbalizados para extrair confiança por token diretamente do texto gerado pelo modelo, evitando a necessidade de acesso interno. Esses métodos são comparados a duas medidas de incerteza interna padrão: probabilidade de token e entropia.

Configuração Experimental

• Datasets: O estudo utiliza dados de Tradução Automática Geral WMT2024 (Inglês para Chinês, Tcheco, Hindi, Japonês e Russo) pareados com Anotações de Intervalos de Erro (ESA) de Kocmi et al. (2024a) como verdade fundamental (ground truth).
• Modelos: Dois LLMs de código aberto foram selecionados: Aya23 e Llama3-70B.
• Abordagens Verbalizadas:
  1. List (Lista): O modelo retorna uma lista de intervalos (spans) sobre os quais não está confiante.
  2. Word_Numeric (Palavra_Numérico): O modelo atribui uma pontuação de confiança numérica $[0, 1]$ a cada palavra por meio de prompts separados.
  3. Word_Likert (Palavra_Likert): O modelo atribui rótulos qualitativos (ex: "muito certo" a "muito incerto") convertidos em valores numéricos.
  4. Token_Numeric (Token_Numérico): Semelhante ao Word_Numeric, mas aplicado ao nível de token.
  5. Token_Likert (Token_Likert): Semelhante ao Word_Likert, mas aplicado ao nível de token.
• Métricas de Avaliação:
  • Detecção de Erro Binária: Medida via F1 score (especificamente para a classe incorreta), AUROC e AUPRC.
  • Calibração: Medida via Erro de Calibração Esperada (ECE) e diagramas de confiabilidade.
  • Alinhamento: A correlação de rank de Spearman foi usada para medir a relação entre a confiança verbalizada e os sinais internos.

Principais Resultados

1. Desempenho de Detecção de Erro

• Desempenho Geral: Todos os métodos apresentaram F1 scores baixos (variando de 0,02 a 0,23), indicando a dificuldade inerente da tarefa, embora todos tenham performado melhor que os baselines aleatórios.
• Dependência do Modelo: Nenhum método único superou consistentemente os outros em todas as configurações. O desempenho variou significamente conforme o par de idiomas e o modelo.
  • Para o Aya23, medidas internas (Entropia) e Word_Numeric performaram melhor na média.
  • Para o Llama3-70B, o Word_Likert alcançou o melhor desempenho em 4 dos 5 pares de idiomas.
• Comparação: Métodos verbalizados geralmente performaram de forma comparável ou superior aos métodos internos para o Llama3-70B, mas os resultados foram mistos para o Aya23. Notavelmente, na tradução de Inglês para Japonês com o Llama3-70B, os métodos verbalizados superaram os métodos internos por 0,09 de F1.

2. Calibração

• Superioridade Interna: Para calibração (ECE), a Entropia normalizada consistentemente apresentou os melhores resultados para ambos os modelos.
• Desempenho Verbalizado: Os métodos verbalizados performaram de forma similar à probabilidade do modelo, mas ficaram atrás da entropia do modelo.
• Likert vs. Numeric: Métodos baseados em Likert superaram consistentemente seus equivalentes numéricos em calibração. Os autores atribuem a má calibração dos métodos numéricos a problemas conhecidos onde os LLMs têm dificuldade com contextos numéricos.

3. Alinhamento Entre Métodos

• Baixa Correlação: Uma descoberta primária é a falta de correlação significativa entre a confiança verbalizada e as medidas de incerteza interna (probabilidade e entropia). Isso sugere que as duas estratégias (cálculo interno vs. autoavaliação verbal) operam sob princípios diferentes ou capturam aspectos distintos do estado do modelo.
• Granularidade: Apesar da capacidade de retornar valores arbitrários, os métodos numéricos exibiram granularidade limitada, com saídas frequentemente restritas a múltiplos de 0,1 ou 0,2, comportando-se efetivamente de forma similar às escalas Likert.

4. Granularidade e Sintaxe

• Token vs. Palavra: Métodos ao nível de token mostraram comportamentos diferentes em comparação aos métodos ao nível de palavra, particularmente em relação aos trade-offs de precisão e recall.
• Categorias Sintáticas: Métodos verbalizados mostraram maior recall para palavras de classe aberta (substantivos, verbos) em comparação com palavras de classe fechada para o Llama3-70B, um padrão não observado nos métodos internos.

Significância e Alegações

O artigo alega que a confiança verbalizada é uma alternativa viável e acessível aos sinais de incerteza interna para detecção de erros em MT, particularmente para usuários sem acesso aos componentes internos do modelo.

• Acessibilidade: Métodos verbalizados fornecem uma solução de "caixa-preta" para estimativa de confiança, exigindo apenas o texto de saída do modelo.
• Complementaridade: A descoberta de pouca ou nenhuma correlação entre métodos internos e verbalizados implica que eles não são redundantes; eles podem capturar sinais distintos do comportamento do modelo.
• Limitações: Os autores observam modestamente que o desempenho absoluto de todos os métodos permanece relativamente baixo, em parte devido à alta qualidade das traduções em idiomas de altos recursos e à dificuldade da tarefa. Eles enfatizam que esses métodos não supervisionados não são substitutos para a anotação humana, mas servem como um mecanismo suplementar de controle de qualidade.
• Direções Futuras: Os autores sugerem que trabalhos futuros investiguem os fatores que impulsionam o alinhamento (ou a falta dele) entre sinais internos e verbalizados e explorem a generalização dessas descobertas para cenários de idiomas de baixos recursos, onde a anotação humana é escassa.