Resumo Técnico: Votação Semântica – Consenso Fundamentado na Execução para Geração de Código por LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) geram código, mas selecionar a solução correta entre múltiplos candidatos amostrados permanece desafiador quando um oráculo completo (uma suíte de testes completa) está indisponível. Pipelines existentes combinam tipicamente votação textual, heurísticas de classificação e concordância baseada em execução, mas as contribuições relativas desses componentes são incertas. Especificamente, trabalhos anteriores frequentemente confundem dois eixos críticos:

1. O valor de evidências comportamentais mais ricas (por exemplo, rastros de execução conscientes de exceções) versus votação de "tudo ou nada" baseada em padrões de saída.
2. A importância relativa da qualidade da entrada versus a regra de agregação uma vez que evidências comportamentais são utilizadas.

As linhas de base atuais, como Votação Majoritária por Padrão de Saída (MV), frequentemente descartam candidatos que falham em qualquer entrada gerada, reduzindo a seleção a uma correspondência exata de strings de retorno concatenadas. Essa abordagem é sensível a entradas geradas imperfeitas e falha em preservar evidências comportamentais parciais.

Metodologia: SEMANTICVOTE e Desenho Experimental

O Pipeline SEMANTICVOTE

Os autores introduzem o SEMANTICVOTE, um método projetado para estudar consenso fundamentado na execução. Diferentemente da MV padrão, o SEMANTICVOTE retém "impressões digitais de execução conscientes de exceções".

1. Geração de Candidatos: Um LLM amostra $N$ soluções candidatas.
2. Geração de Entrada (Baseada em Esboço): O LLM gera $K$ esboços de entrada abstratos (por exemplo, "uma lista vazia", "uma lista com duplicatas") visando classes de equivalência comportamental distintas. Cada esboço é instanciado $M$ vezes com valores concretos, resultando em $D = K \times M$ entradas de teste diversas.
3. Digitalização (Fingerprinting): Cada candidato é executado em todas as $D$ entradas em um ambiente isolado (sandbox). O sistema registra um vetor de impressão digital: uma tupla de pares (status, valor) para cada entrada, onde o status inclui sucesso, tipo de exceção ou tempo esgotado.
4. Agrupamento (Clustering): Os candidatos são agrupados por igualdade exata de suas impressões digitais.
5. Seleção: O sistema seleciona o representante do maior cluster. Se um cluster "todo-sucesso" existir, ele é preferido; caso contrário, o maior cluster consciente de exceções é escolhido. O programa mais curto no cluster selecionado é retornado (lâmina de Occam).

Configuração Experimental

O estudo avalia 18 configurações em:

• Modelos: Três endpoints de prévia do Gemini (3.1 Pro, 3 Flash, 3.1 Flash Lite).
• Níveis de Pensamento: Baixo, Médio e Alto.
• Benchmarks: HumanEval+ e MBPP+ (versões aumentadas com significativamente mais casos de teste).

Os autores comparam o SEMANTICVOTE contra:

• Votação Majoritária por Padrão de Saída (MV): Descarta qualquer candidato com erro de execução; agrupa por string de saída exata.
• Votação Ponderada (WV): Agrupa por padrão de saída, mas pondera candidatos pela sua taxa de sucesso.
• MBR-Exec: Seleciona o candidato com a maior soma de concordâncias nas saídas/exceções de entrada.
• MV normalizada por AST: Uma linha de base estrutural que agrupa por estrutura de AST canônica.

Principais Descobertas

1. Seleção Baseada em Execução Supera Votação por Padrão de Saída

Em todas as 18 configurações, o melhor seletor baseado em execução (SEMANTICVOTE, WV ou MBR-Exec) supera a Votação Majoritária por Padrão de Saída em 19–52 pontos percentuais.

• A MV por padrão de saída consistentemente tem desempenho inferior até mesmo ao simples "Best-of-N" (selecionar o primeiro candidato sintaticamente válido) e frequentemente falha completamente quando entradas geradas fazem todos os candidatos falharem.
• O principal modo de falha da MV é seu filtro "todo-sucesso", que descarta candidatos que estão corretos no benchmark, mas falham em uma entrada gerada específica. Métodos baseados em execução preservam concordância parcial e tipos de exceção, permitindo-lhes recuperar soluções corretas.

2. Qualidade da Entrada é o Principal Motor de Desempenho

Uma vez que os candidatos são executados em entradas diversas, a regra de agregação específica (SEMANTICVOTE vs. Votação Ponderada vs. MBR-Exec) tem um efeito limitado.

• Indistinguibilidade Estatística: Testes bootstrap pareados não mostram diferença significativa ($p > 0.05$) entre o SEMANTICVOTE e os outros agregadores baseados em execução em todas as 18 configurações. A diferença de desempenho é negligenciável (por exemplo, o SEMANTICVOTE difere da Votação Ponderada por apenas $-0,79$a$+0,61$ pp).
• Domínio da Estratégia de Entrada: A escolha da estratégia de geração de entrada é a maior fonte de variância.
  • Geração baseada em esboço (categorias abstratas instanciadas concretamente) é a estratégia mais forte, superando a geração direta de entrada por LLM em 0,6–2,1 pp e fuzzing aleatório ou entradas apenas com exemplos em até 11,3 pp.
  • Esse benefício transfere-se consistentemente para todos os três agregadores baseados em execução.

3. Interação com Profundidade de Pensamento

O impacto do "nível de pensamento" (orçamento de raciocínio) difere entre famílias de seleção:

• Votação Majoritária por Padrão de Saída: Pensamento mais profundo melhora o desempenho (por exemplo, +12 pp no HumanEval+ Flash) gerando saídas mais consistentes.
• Métodos Baseados em Execução: O desempenho permanece plano ou degrada ligeiramente com pensamento mais profundo. Os autores hipotetizam que pensamento mais profundo reduz a diversidade de candidatos, deixando menos clusters comportamentais distintos para explorar, o que limita a utilidade do consenso baseado em execução.

4. Decomposição da Lacuna do Oráculo

A análise de falhas revela que falhas de geração (nenhum candidato correto no conjunto) são o gargalo dominante, respondendo pela maioria dos erros. Falhas de seleção (um candidato correto existe, mas não é escolhido) representam em média apenas 1,5–2,7%.

• Como o conjunto de candidatos corretos é pequeno, há pouco espaço para qualquer regra de agregação diferenciar desempenho, explicando a convergência do SEMANTICVOTE, WV e MBR-Exec.
• Aumentar o número de entradas de teste ($D$) produz retornos decrescentes; o desempenho satura em torno de $D=30$, com $D=10$ capturando a maior parte do ganho.

Significado e Escopo

O artigo posiciona-se como uma decomposição empírica em vez de uma proposta de método novo. Sua contribuição primária é reformular a seleção de código no tempo de inferência como um problema de qualidade de sinal em vez de um problema de regra de agregação.

• Qualidade do Sinal: Quando oráculos estão indisponíveis, a qualidade da evidência comportamental (derivada de entradas diversas e bem estruturadas) importa significativamente mais do que a regra usada para agregar essa evidência.
• Implicação Prática: Para melhorar a seleção de código, praticantes devem priorizar a geração de entradas de teste diversas e comportamentalmente representativas (por exemplo, via geração baseada em esboço) em vez de otimizar algoritmos de votação complexos.
• Limitações: O estudo limita-se a benchmarks de Python e modelos Gemini. A geração de entrada baseada em esboço depende da familiaridade do LLM com o domínio, e programas com não determinismo intencional podem produzir impressões digitais inconsistentes.

Os autores concluem que, embora o SEMANTICVOTE sirva como instrumento para avaliação, a convergência de métodos baseados em execução sugere que, uma vez que rastros comportamentais de alta qualidade são estabelecidos, o mecanismo específico de agrupamento ou ponderação torna-se secundário.