Resumo Técnico: Acordo no Espaço de Representação para Autoconsistência de Código Aberto

Declaração do Problema

A autoconsistência emergiu como uma estratégia primária de inferência para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs). Métodos clássicos, como os propostos por Wang et al. (2022), operam através da amostragem de múltiplos caminhos de raciocínio e da seleção da resposta final mais frequente via votação majoritária. Embora altamente eficaz para tarefas com saídas categóricas (ex: raciocínio matemático, questões de múltipla escolha), essa abordagem depende de correspondência simbólica exata.

Estender a autoconsistência para tarefas de geração de código aberto — como síntese de código, sumarização de texto e raciocínio de formato livre — apresenta um desafio significativo. Em tais configurações, respostas semanticamente equivalentes frequentemente diferem substancialmente em níveis léxicos ou estruturais, tornando a correspondência exata ineficaz. Tentativas recentes para abordar isso, como a Universal Self-Consistency (USC) (Chen et al., 2023), que utiliza avaliação baseada em LLM, ou Self-Certainty (SCe) (Kang et al., 2026), que se baseia em sinais de incerteza, introduzem novas limitações em relação à escalabilidade, custo computacional e estabilidade.

Metodologia: Acordo Baseado em Embedding (EBA)

Os autores hipotetizam que a autoconsistência na geração de código aberto não é meramente uma propriedade de sobreposição simbólica, mas uma propriedade geométrica do espaço de geração. Especificamente, eles postulam que gerações semanticamente compatíveis se concentram em regiões densas e similares do espaço de representação, enquanto gerações inconsistentes ou de baixa qualidade aparecem isoladas ou distribuídas de forma esparsa.

Para operacionalizar essa hipótesia, o artigo introduz o Embedding-Based Agreement (EBA), um framework livre de treinamento que estima a consistência através das seguintes etapas:

1. Amostragem: Dado um prompt de entrada $x$, $N$ candidatas de gerações $\{y_1, \dots, y_N\}$ são amostradas de um modelo de linguagem.
2. Embedding: Cada geração é mapeada em um espaço de representação contínuo usando uma função de embedding $\phi(\cdot)$, produzindo vetores $\{e_1, \dots, e_N\}$.
3. Agrupamento (Clustering): Os embeddings são agrupados usando agrupamento aglomerativo com distância de cosseno. O número de clusters é determinado automaticamente via análise de silhueta.
4. Seleção: Clusters contendo um maior número de gerações são interpretados como regiões de forte acordo. A predição final é selecionada como a amostra mais próxima do centroide do cluster dominante.

O framework é projetado para ser agnóstico ao modelo e não requer treinamento adicional ou avaliadores de LLM externos para o processo de seleção.

Principais Contribuições

1. Interpretação Geométrica da Autoconsistência: O artigo recontextualiza a autoconsistência de um mecanismo de votação discreto para um fenômeno geométrico onde o acordo emerge da organização coletiva das gerações amostradas no espaço de representação.
2. Framework EBA: A introdução de um método simples e livre de treinamento (EBA) que utiliza agrupamento no espaço de embedding para selecionar saídas de alta qualidade para tarefas de código aberto.
3. Validação Empírica: Experimentos abrangentes em três domínios distintos: raciocínio matemático (MATH500), geração de código (HumanEval) e sumarização (CNN/DM).
4. Análise de Escala e Robustez: O estudo demonstra que os sinais de acordo se fortalecem com o aumento dos orçamentos de amostragem e permanecem robustos através de diferentes famílias de modelos (Llama, Qwen), escalas de modelos (8B a 70B) e espaços de embedding (modelos pré-treinados vs. representações ocultas nativas).
5. Correlação de Qualidade Geométrica: A análise revela uma forte correlação entre a localização geométrica de uma geração e sua qualidade. Gerações concentradas próximas às regiões centrais do espaço de representação produzem saídas mais confiáveis, enquanto gerações periféricas são significamente menos precisas.

Resultados Experimentais

Os autores avaliaram o EBA contra seleção aleatória, USC e SCe utilizando modelos Llama 3.1-8B/70B e Qwen 3-8B/32B.

• Melhoria de Desempenho: O EBA supera consistentemente a seleção aleatória. As melhorias são mais pronunciadas na geração de código (até +4 pontos no HumanEval) e no raciocínio matemático (até +17 pontos no MATH500). Os ganhos na sumarização são menores, porém consistentes (+1 ponto de ROUGE-1).
• Comportamento de Escala: Ao contrário da USC, que frequentemente degrada conforme o número de candidatos aumenta devido a limites de contexto ou ruído de avaliação, e da SCe, que mostra escalonamento instável, o EBA exibe uma melhoria estável e quase monotônica conforme o orçamento de amostragem ($n$) aumenta de 1 para 256.
• Robustez: A eficácia do EBA mantém-se em diferentes modelos de embedding (Qwen, Gemma) e mesmo quando utilizando representações ocultas nativas extraídas diretamente do modelo de geração, sugerindo que o sinal é intrínseco à distribuição de geração.
• Conexão com a SC Clássica: No MATH500, quando aplicado às respostas finais extraídas, o EBA espelha de perto o comportamento de escala da votação majoritária clássica, sugerindo que é uma extensão contínua do princípio original de autoconsistência.

Significância e Alegações

O artigo afirma que visualizar a autoconsistência como uma propriedade geométrica das gerações amostradas oferece uma perspectiva unificada tanto para tarefas categóricas quanto de código aberto. A principal significância deste trabalho reside em:

• Fornecer uma alternativa robusta, escalável e computacionalmente eficiente à avaliação baseada em LLM para selecionar saídas consistentes em geração de código aberto.
• Demonstrar que os sinais de consistência são estáveis através de escalas de modelos e espaços de embedding, incluindo representações nativas.
• Estabelecer que o "centro" do espaço de representação ocupado por uma distribuição de gerações é um forte indicador de confiabilidade da saída.

Os autores concluem que suas descobertas apoiam uma mudança na compreensão da autoconsistência, afastando-a da sobreposição simbólica exata em direção à organização geométrica do espaço de geração, abrindo novos caminhos para a seleção em tempo de inferência baseada na estrutura do espaço de representação.

Limitações

O artigo reconhece diversas limitações:

• Geometria de Representação: Os espaços de embedding atuais podem exibir estruturas geométricas de baixa separação (ex: concentração em cones estreitos de alta dimensão), o que significa que a proximidade nem sempre equivale perfeitamente à equivalência semântica.
• Heurísticas de Agrupamento: A dependência de agrupamento aglomerativo e análise de silhueta pode não capturar totalmente as estruturas locais refinadas no espaço de geração.
• Sobrecarga Computacional: Embora mais barato que a avaliação por LLM, o EBA ainda requer a geração de múltiplas amostras e o cálculo de embeddings, o que pode ser custoso para orçamentos de amostragem muito grandes ou gerações longas.
• Escopo: A avaliação é limitada à sumarização, código e matemática; avaliações adicionais em domínios como diálogo ou raciocínio de agentes são necessárias.