Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models

Resumo Técnico: Dúvida Compartilhada: Estimativa de Confiança Cross-Lingual Zero-shot para Modelos de Linguagem

Definição do Problema
A estimativa de confiança (CE) em Grandes Modelos de Linguagem (LLMs) visa quantificar a confiabilidade da previsão de um modelo, uma capacidade crítica para mitigar alucinações e manter a confiança do usuário. Embora a CE tenha recebido atenção significativa, a vasta maioria das pesquisas existentes foca exclusivamente no inglês. Essa negligência é problemática porque os LLMs frequentemente exibem uma confiabilidade reduzida em idiomas com menos recursos de treinamento, tornando a estimativa de confiança precisa ainda mais vital nesses contextos. Além disso, muitos métodos de CE existentes degradam o desempenho ou exigem retreinamento quando aplicados a idiomas não vistos, falhando em abordar a realidade multilíngue da implantação de LLMs. A questão central de pesquisa é se os LLMs multilíngues codificam características de confiança compartilhadas e transferíveis entre idiomas que podem ser exploradas sem supervisão do idioma alvo.

Metodologia
Os autores propõem uma sonda linear leve projetada para prever a correção da resposta diretamente a partir das representações ocultas intermediárias de um LLM. A metodologia baseia-se na hipótese de que os LLMs multilíngues possuem um subespaço compartilhado e agnóstico à língua onde os sinais de confiança são codificados.

• Representações: O estudo utiliza LLMs baseados em transformadores de decodificação exclusiva (decoder-only). Ele extrai estados ocultos de dois passos temporais específicos: o último token do prompt de entrada (servindo como um proxy para toda a entrada) e o último token da resposta gerada (representando o estado final).
• Arquitetura da Sonda: A sonda aprende uma média ponderada das representações ocultas das camadas. Ela introduz um vetor de parâmetros aprendíveis $w$ para calcular os pesos das camadas $\alpha_\ell$ via uma função softmax, criando uma representação agrupada $\bar{h}_t$. Esta representação agrupada é então passada por uma camada linear com uma ativação sigmoide para produzir uma pontuação de confiança.
• Configuração de Treinamento e Avaliação: A sonda é treinada monolingualmente em uma língua de origem (francês nos experimentos primários, com o inglês como fonte secundária) utilizando os conjuntos de dados MKQA (QA de resposta aberta) e Global-MMLU (convertido para QA de resposta aberta). Ela é então avaliada em um cenário zero-shot em línguas alvo tipologicamente diversas (inglês, espanhol, polonês, russo, japonês) sem qualquer supervisão do idioma alvo.
• Baselines: A abordagem é comparada com baselines de classe majoritária e probabilidade anterior, bem como outros métodos de CE, incluindo verossimilhança de sequência normalizada pelo comprimento, P(Verdadeiro), confiança verbalizada e a sonda mass-mean.

Principais Resultados

• Transferência Zero-Shot: A sonda, treinada apenas em francês, generaliza-se com sucesso para idiomas não vistos através de diferentes famílias linguísticas e escritas. Embora as métricas de discriminação (AUROC, AUPR) degradem conforme a distância tipológica da língua de origem aumenta, as métricas de calibração (Brier score, ECE) muitas vezes permanecem estáveis ou até superam sondas oráculo treinadas no idioma alvo em instâncias específicas.
• Importância das Camadas: A análise dos pesos das camadas aprendidos e os estudos de ablação revelam que as características de confiança estão concentradas nas camadas superiores-médias da rede. Isso se alinha com descobertas anteriores de que essas camadas mapeiam entradas em um espaço representacional compartilhado. Remover essas camadas médias impacta significativamente o desempenho, particularmente para a calibração zero-shot.
• Tempo do Token: O estudo encontra uma distinção entre a utilidade do último token da consulta e do último token da resposta. O último token da consulta produz melhor calibração entre idiomas, enquanto o último token da resposta fornece uma discriminação superior entre respostas corretas e incorretas.
• Comparação: A sonda cross-lingual supera vários baselines populares de CE (como P(Verdadeiro) e confiança verbalizada) em configurações zero-shot, particularmente em discriminação, embora às vezes fique atrás da sonda mass-mean em calibração para idiomas altamente dissimilar.

Significância e Contribuições
O artigo afirma ser o primeiro a demonstrar a transferência de estimativa de confiança zero-shot cross-lingual através da sondagem de representações intermediárias de LLMs. Suas principais contribuições são:

1. Demonstração de Subespaço Compartilhado: Fornece evidência empírica de que sinais de confiança aprendidos em uma língua de alto recurso podem ser transferidos para línguas de baixo recurso ou tipologicamente distantes sem retreinamento, sugerindo a existência de um subespaço de confiança compartilhado em LLMs multilíngues.
2. Localização de Camadas: Identifica que a informação mais saliente para a predição de confiança zero-shot está localizada nas camadas médias-superiores, reforçando a teoria de que essas camadas contêm representações agnósticas à língua.
3. Baseline Prático: O método proposto oferece um baseline forte e livre de retreinamento para a estimativa de confiança multilíngue, o que é particularmente valioso para idiomas subatendidos onde dados rotulados são escassos.

Os autores mantêm um tom modesto, reconhecendo que o desempenho degrada com o aumento da distância tipológica e que a abordagem atualmente foca em QA de formato curto. Eles sugerem que trabalhos futuros poderiam envolver o treinamento em múltiplas línguas de origem, a identificação mais precisa de representações latentes críticas e a aplicação de técnicas de calibração post-hoc para melhorar ainda mais a robustez.