Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation

Resumo Técnico: Alucinações Sintéticas, Ganhos Reais

Definição do Problema
Modelos de código de código aberto pequenos (3–7 bilhões de parâmetros) usados para preenchimento automático (autocomplete) de IDE frequentemente sofrem de alucinações de Fill-in-the-Middle (FIM). Estas são conclusões que são sintaticamente naturais e localmente plausíveis, mas violam o estado real do projeto, como chamar métodos inexistentes, usar variáveis não definidas ou importar pacotes fictícios. As estratégias de mitigação existentes enfrentam limitações significativas:

1. Filtragem baseada em execução: Requer sandboxes por linguagem e testes de unidade, que não estão disponíveis para edições de meio de tecla ou arquivos que ainda não foram processados (parse).
2. Otimização de preferência (DPO/ORPO): Requer grandes corpora de preferência anotados por humanos ou sinais de recompensa por rollout, que são difíceis de gerar na granularidade de buracos FIM específicos.

Metodologia
Os autores propõem um pipeline livre de execução que utiliza modelos de código de fronteira para sintetizar negativos difíceis (conclusões plausíveis, porém erradas) para treinar modelos menores. A ideia central é inverter a receita padrão de dados sintéticos: em vez de gerar código correto e verificá-lo, o pipeline gera código errado e o contrasta com a edição "golden" (verdade fundamental) do desenvolvedor.

O pipeline opera em quatro estágios:

1. Amostragem de Dados: O sistema extrai um corpus multilíngue de licença permissiva de um GitHub público (cobrindo C#, Go, Java, JavaScript, PHP, Python, Ruby e Rust) para extrair ~400k contextos FIM (prefixo, conclusão golden, sufixo).
2. Síntese de Negativos Difíceis: Um painel de três geradores de código de fronteira (GPT-5.2-Codex, GPT-5.4, GPT-5.5) produz uma conclusão alucinada por contexto para quatro tipos específicos de alucinação definidos pela taxonomia Delulu:
   • Método: Substituir um nome de método por um inventado, mas plausível.
   • Parâmetro: Injetar argumentos de palavra-chave ou posicionais falsos.
   • Variável Não Definida: Substituir um identificador por um não definido no escopo.
   • Importação: Substituir um import real por um pacote ou símbolo fictício.
3. Curadoria: O sistema cria um conjunto de dados pareado (escolhido/golden vs. rejeitado/alucinado). Ele impõe cotas por linguagem e tipo para garantir o equilíbrio e exclui dados que sobrepõem benchmarks de avaliação.
4. Treinamento: Os autores aplicam Ajuste Fino Supervisionado (SFT) no lado "escolhido" (golden) dos dados. Crucialmente, o alvo de treinamento termina exatamente na fronteira do buraco FIM, ensinando o modelo a interromper a geração corretamente. O lado rejeitado (alucinado) é usado para comparações contrastivas (DPO/ORPO) em estudos de ablação, mas não é estritamente necessário para a receita de SFT.

Um mecanismo secundário, a "taxa de engano" (fool rate), é introduzido como um sinal de dificuldade. Um painel de juízes LLM pontua as alucinações com base na frequência com que são confundidas com código correto. Isso permite filtrar o conjunto de treinamento para focar em negativos mais difíceis, embora o prova de conceito principal não dependa deste filtragem.

Principais Contribuições

• Pipeline Livre de Execução: Um método para gerar dados FIM pareados (escolhido, rejeitado) sem sandboxes, testes de unidade ou requisitos de parsing de arquivo, baseando-se apenas no contraste entre uma edição de verdade fundamental e uma alucinação gerada por um modelo de fronteira.
• Reprodutibilidade de Código Aberto: Os autores liberam o código completo do pipeline (prompts de geração, harness de julgamento, curadoria e receitas de ajuste fino), permitindo a reprodução em qualquer corpus de licença permissiva.
• Agnosticismo de Modelo Base: A receita é validada em quatro famílias de modelos base de 7B/3B (Qwen2.5-Coder, StarCoder2, CodeLlama), demonstrando que o sinal de correção de alucinação é codificado nos dados e não em arquiteturas de modelos específicas.
• Comportamento de Parada: Evidência de que a receita ensina os modelos a interromper a geração na fronteira correta, um modo de falha crítico em tarefas FIM.

Resultos
O ajuste fino do Qwen2.5-Coder-7B-Instruct em um subconjunto curado de 100k linhas rendeu melhorias significativas:

• Benchmark Delulu: O Exact Match (EM) aumentou em +18.8 pontos (de ~42.8% para 61.4%) em todas as sete linguagens e todos os quatro tipos de alucinação. A Similaridade de Edição (ES) melhorou em +0.22.
• FIM Geral: A receita melhorou o desempenho nos benchmarks HumanEval-Infilling e SAFIM, incluindo preenchimento de fluxo de controle e de API.
• Modelo 3B: A mesma receita no Qwen2.5-Coder-3B melhorou o Delulu EM em +12.8 pontos, mas mostrou um trade-off, regredindo em divisões específicas do HumanEval-Infilling (multilinhas) devido a restrições de capacidade.
• SFT vs. Contrastivo: No mesmo conjunto de dados pareado, o SFT igualou ou excedeu o desempenho do ORPO e superou significativamente o DPO. O DPO falhou em internalizar o comportamento de parada, levando à sobre-geração, enquanto o SFT aprendeu com sucesso a sequência de tokens e o ponto de parada.
• Ablações:
  • Tamanho: O desempenho satura em torno de 50k linhas; 100k oferece retornos decrescentes.
  • Linguagem: A transferência translinguística requer um mínimo de cinco linguagens diversas para iniciar; além disso, o orçamento é melhor gasto em escala do que em diversidade.
  • Dificuldade: O sinal de supervisão mais valioso vem do "meio disputado" da distribuição da taxa de engano (alucinações que confundem os juízes, mas não são unânimes), em vez dos extremos mais fáceis ou mais difíceis.

Significância e Alegações
O artigo afirma que negativos difíceis sintéticos gerados por modelos de fronteira podem servir como um sinal eficaz de ajuste fino supervisionado para reduzir alucinações em modelos menores sem o overhead de ambientes de execução. Os autores enfatizam que:

1. Qualidade sobre Quantidade: Um subconjunto de dados curado e difícil (50k linhas) é mais eficaz do que conjuntos maiores e não curados.
2. Suficiência do SFT: Para tarefas FIM sensíveis à parada, um corpus de SFT de alta qualidade e curado é um padrão mais seguro e eficaz do que o treinamento contrastivo explícito (DPO/ORPO), que pode ter dificuldades com o controle de comprimento de geração.
3. Generalização: A abordagem melhora as capacidades gerais de FIM (não apenas a redução de alucinações) quando aplicada a modelos de 7B, embora modelos de 3B exijam curadoria cuidadosa para evitar o esquecimento catastrófico em tipos de tarefas específicos.

Os autores mantêm-se modestos quanto às limitações, observando que os dados de treinamento consistem em alucinações sintéticas em vez de erros de modelos do mundo real, e que o modelo 3B apresenta um trade-off dependente de capacidade entre a redução de alucinações e a precisão geral de FIM. Eles não alegam que o método resolve todos os tipos de alucinação (ex: erros de lógica complexos), mas demonstram sua eficácia para alucinações de nível de identificador.