FUSE: Ensembling Verifiers with Zero Labeled Data

1. O Problema

O avanço recente em Modelos de Linguagem de Grande Escala (LLMs) tem sido impulsionado por técnicas de scaling no tempo de inferência (test-time scaling), como a amostragem "Best-of-N" (BoN). Nesse cenário, múltiplas respostas são geradas para uma mesma consulta e um "verificador" (ou modelo de recompensa) é usado para selecionar a melhor.

No entanto, existem desafios críticos:

• Verificadores Imperfeitos: Os verificadores disponíveis (outros LLMs ou modelos de recompensa) não são perfeitos e podem cometer erros.
• Custo de Ground Truth: Obter rótulos de verdade absoluta (ground truth) de especialistas humanos é caro e demorado, tornando inviável o uso de métodos supervisionados para treinar ou ajustar esses verificadores na maioria dos cenários de implantação.
• Limitações de Métodos Atuais: Métodos simples de ensembling, como votação majoritária ou média de pontuações, falham quando os verificadores têm desempenhos heterogêneos ou quando suas previsões são condicionalmente dependentes (correlacionadas) de formas complexas. Métodos semi-supervisionados existentes (como o WEAVER) exigem um conjunto de dados rotulado, o que limita sua aplicabilidade.

O objetivo é criar um método robusto para combinar múltiplos verificadores sem acesso a nenhum rótulo de verdade absoluta (zero labeled data), adaptando-se às dependências estatísticas entre os verificadores.

2. Metodologia: FUSE (Fully Unsupervised Score Ensembling)

O FUSE é um método que agrega pontuações de múltiplos verificadores de forma adaptativa aos dados para selecionar a resposta mais promissora. A abordagem baseia-se em três pilares principais:

A. Superação da Independência Condicional Tripla (TCI)

A literatura clássica de ensembling não supervisionado (ex: Jaffe et al., 2015) assume que os classificadores são condicionalmente independentes dados os rótulos verdadeiros. O FUSE reconhece que essa suposição raramente se mantém em LLMs.

• Transformação de Pontuação: O FUSE introduz uma transformação empírica das pontuações brutas dos verificadores. Ele define uma medida de violação da "Independência Condicional Tripla" (TCI) que pode ser calculada sem rótulos.
• Otimização: O algoritmo busca uma transformação (binarização com limiares específicos) que minimize essa violação de TCI. Isso prepara os dados para que os estimadores espectrais funcionem de forma confiável.

B. Estimativa de Qualidade via Momentos (MoM)

Após a transformação dos dados para satisfazer melhor a TCI, o FUSE aplica um método de momentos (MoM) derivado de Jaffe et al. (2015):

• Utiliza tensores de covariância de segunda e terceira ordem das pontuações dos verificadores para estimar a sensibilidade e especificidade de cada verificador para uma consulta específica.
• Isso permite estimar a qualidade de cada verificador sem saber quais respostas estão corretas.

C. Construção do Ensemble com Pseudo-rótulos

Com as estimativas de qualidade dos verificadores em mãos, o FUSE não assume a forte "Independência Condicional Conjunta" (JCI), que é difícil de validar.

• Geração de Pseudo-rótulos: O método calcula probabilidades posteriores de correção baseadas em trios de verificadores e suas estimativas de qualidade.
• Otimização de Regras Paramétricas: Em vez de usar uma regra fixa, o FUSE ajusta um modelo paramétrico (como uma regressão logística) para maximizar a precisão estimada usando esses pseudo-rótulos.
• Seleção Final: O modelo otimizado é usado para pontuar as respostas geradas, e a resposta com a maior probabilidade estimada de correção é selecionada.

3. Principais Contribuições

1. Abordagem 100% Não Supervisionada: O FUSE é capaz de ensemplar verificadores com desempenho competitivo (e muitas vezes superior) sem utilizar nenhum dado rotulado, superando a necessidade de holdout sets para treinamento.
2. Gestão de Dependências: Diferente de métodos anteriores que assumem independência, o FUSE adapta-se ativamente às violações de independência condicional através de transformações de dados, tornando-o robusto para cenários reais de LLMs onde verificadores frequentemente compartilham viéses.
3. Flexibilidade de Dados: O método funciona com verificadores que emitem pontuações contínuas (reais) ou discretas, e suporta tanto modos "condicionais à consulta" quanto "em lote" (batch).
4. Validação em Benchmarks de Fronteira: O método foi testado em conjuntos de dados desafiadores e não saturados, como Humanity's Last Exam e questões da IMO Shortlist, demonstrando robustez em tarefas de raciocínio complexo.

4. Resultados Experimentais

Os experimentos compararam o FUSE com baselines não supervisionados (votação majoritária, ensemble ingênuo) e semi-supervisionados (WEAVER, Regressão Logística, Naive Bayes) em diversos benchmarks:

• Desempenho Geral: O FUSE frequentemente iguala ou supera métodos semi-supervisionados que têm acesso a 5% de rótulos de verdade. Em muitos casos, supera o "melhor verificador individual" (Oracle Best Verifier).
• Benchmarks Padrão (Saad-Falcon et al.): Em datasets como GPQA, MATH500 e MMLU, o FUSE supera consistentemente a votação majoritária e o ensemble ingênuo, e compete de perto com o WEAVER.
• Humanity's Last Exam (HLE): Em um conjunto de dados extremamente difícil onde modelos de ponta ainda não estão saturados, o FUSE alcançou a maior precisão (54.3%), superando até mesmo a regressão logística semi-supervisionada e o melhor verificador individual.
• IMO Shortlist: Neste cenário, onde os verificadores são muito homogêneos e quase independentes, o FUSE igualou o desempenho do ensemble ingênuo (que atua como um oráculo neste caso específico), demonstrando que não perde desempenho em cenários ideais.
• Ablação de Heterogeneidade: Em configurações mistas (diferentes tipos de tarefas), o FUSE manteve sua vantagem sobre métodos semi-supervisionados, que sofreram com o distribution shift quando treinados em um subconjunto limitado de dados.

5. Significado e Impacto

O FUSE representa um avanço significativo na viabilidade de escalabilidade de inferência para LLMs:

• Redução de Custos: Ao eliminar a necessidade de rótulos humanos para calibrar verificadores, o FUSE reduz drasticamente o custo e o tempo de implantação de sistemas de verificação robustos.
• Escalabilidade de Verificação: Permite que sistemas de IA utilizem a "força bruta" de múltiplos verificadores heterogêneos para melhorar a precisão, mesmo sem saber qual verificador é o melhor a priori.
• Aplicações Futuras: O artigo sugere que a metodologia pode ser aplicada além do test-time scaling, incluindo:
  • Ranking não supervisionado de modelos.
  • Auditoria de benchmarks (identificação de erros em rótulos de ground truth).
  • Filtragem de dados sintéticos para treinamento e RL (Reinforcement Learning).

Em resumo, o FUSE demonstra que é possível extrair o potencial máximo de ensembles de verificadores em cenários de "zero-shot" supervisionado, superando as limitações teóricas de métodos anteriores ao lidar pragmaticamente com as dependências estatísticas inerentes aos modelos de linguagem modernos.