Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation

Sintesi Tecnica: Allucinazioni Sintetiche, Guadagni Reali

Definizione del Problema
I piccoli modelli di codice open-source (3–7B di parametri) utilizzati per l'autocomplete negli IDE soffrono frequentemente di allucinazioni Fill-in-the-Middle (FIM). Queste sono completamenti che risultano sintatticamente naturali e localmente plausibili, ma violano il vero stato del progetto, come ad esempio chiamare metodi inesistenti, utilizzare variabili non definite o importare pacchetti fittizi. Le strategie di mitigazione esistenti presentano limitazioni significative:

1. Filtraggio basato sull'esecuzione: Richiede sandbox per ogni linguaggio e unit test, che non sono disponibili durante le modifiche a metà keystroke o per file che non sono ancora stati analizzati (parse).
2. Ottimizzazione delle preferenze (DPO/ORPO): Richiede grandi corpora di preferenze annotate da esseri umani o segnali di ricompensa per ogni rollout, che sono difficili da generare alla granularità specifica dei buchi FIM.

Metodologia
Gli autori propongono una pipeline priva di esecuzione che sfrutta modelli di codice di frontiera per sintetizzare negativi difficili (completamenti plausibili ma errati) per addestrare modelli più piccoli. L'intuione centrale è quella di invertire la ricetta standard dei dati sintetici: invece di generare codice corretto e verificarlo, la pipeline genera codice errato e lo mette in contrasto con l'edit "golden" (verità fondamentale) dello sviluppatore.

La pipeline opera in quattro fasi:

1. Campionamento dei Dati: Il sistema estrae un corpus multilingue con licenza permissiva da GitHub pubblico (coprendo C#, Go, Java, JavaScript, PHP, Python, Ruby e Rust) per estrarre circa 400k contesti FIM (prefisso, completamento golden, suffisso).
2. Sintesi di Negativi Difficili: Un panel di tre generatori di codice di frontiera (GPT-5.2-Codex, GPT-5.4, GPT-5.5) produce un completamento allucinato per ogni contesto per quattro tipi specifici di allucinazione definiti dalla tassonomia Delulu:
   • Metodo: Sostituire il nome di un metodo con uno inventato ma plausibile.
   • Parametro: Iniettare keyword o argomenti posizionali fittizi.
   • Variabile Non Definita: Sostituire un identificatore con uno non definito nello scope.
   • Import: Sostituire un import reale con un pacchetto o simbolo fittizio.
3. Curatela: Il sistema crea un dataset accoppiato (scelto/golden vs rifiutato/allucinato). Impone quote per linguaggio e tipo per garantire l'equilibrio ed esclude i dati che si sovrappongono ai benchmark di valutazione.
4. Addestramento: Gli autori applicano il Supervised Fine-Tuning (SFT) sul lato "scelto" (golden) dei dati. Fondamentalmente, l'addestramento mira esattamente al confine del buco FIM, insegnando al modello a interrompere correttamente la generazione. Il lato rifiutato (allucinato) viene utilizzato per confronti contrastivi (DPO/ORPO) negli studi di ablazione, ma non è strettamente richiesto per la ricetta SFT.

Viene introdotto un meccanismo secondario, il "fool rate" (tasso di inganno), come segnale di difficoltà. Un panel di giudici LLM valuta le allucinazioni in base alla frequenza con cui vengono scambiate per codice corretto. Ciò consente di filtrare il set di addestramento per concentrarsi sui negativi più difficili, sebbene la prova di concetto principale non faccia affidamento su questo filtraggio.

Contributi Chiave

• Pipeline Priva di Esecuzione: Un metodo per generare dati FIM accoppiati (scelto, rifiutato) senza sandbox, unit test o requisiti di parsing dei file, basandosi esclusivamente sul contrasto tra un edit della verità fondamentale e un'allucinazione generata da un modello di frontiera.
• Riproducibilità Open-Source: Gli autori rilasciano l'intera pipeline di codice (prompt di generazione, harness di giudizio, curatela e ricette di fine-tuning), consentendo la riproduzione su qualsiasi corpus con licenza permissiva.
• Agnosticismo rispetto al Modello Base: La ricetta è validata su quattro famiglie di modelli base da 7B/3B (Qwen2.5-Coder, StarCoder2, CodeLlama), dimostrando che il segnale di correzione delle allucinazioni è codificato nei dati piuttosto che in specifiche architetture di modelli.
• Comportamento di Arresto: L'evidenza che la ricetta insegna al modello a fermarsi al confine corretto, un modo di fallimento critico nei compiti FIM.

Risultati
Il fine-tuning di Qwen2.5-Coder-7B-Instruct su un subset curato di 100k righe ha prodotto miglioramenti significativi:

• Benchmark Delulu: L'Exact Match (EM) è aumentato di +18.8 punti (da ~42.8% a 61.4%) in tutti i sette linguaggi e tutti i quattro tipi di allucinazione. L'Edit Similarity (ES) è migliorata di +0.22.
• FIM Generale: La ricetta ha migliorato le prestazioni sui benchmark HumanEval-Infilling e SAFIM in tutti gli split, inclusi il controllo del flusso e il completamento delle API.
• Modello 3B: La stessa ricetta su Qwen2.5-Coder-3B ha migliorato il Delulu EM di +12.8 punti ma ha mostrato un compromesso, regredendo su specifici split di HumanEval-Infilling (multi-linea) a causa dei vincoli di capacità.
• SFT vs. Contrastivo: Sullo stesso dataset accoppiato, l'SFT ha eguagliato o superato le prestazioni di ORPO e ha superato significativamente DPO. DPO non è riuscito a interiorizzare il comportamento di arresto, portando a una sovra-generazione, mentre l'SFT ha imparato con successo la sequenza di token corretta e il punto di arresto.
• Ablazioni:
  • Dimensione: Le prestazioni si saturano intorno alle 50k righe; 100k offre rendimenti decrescenti.
  • Linguaggio: Il trasferimento cross-linguistico richiede un minimo di cinque linguaggi diversi per attivarsi; oltre questo limite, il budget è meglio investito nella scala che nella diversità.
  • Difficoltà: Il segnale di supervisione più prezioso proviene dal "centro conteso" della distribuzione del fool-rate (allucinazioni che confondono i giudici ma non sono unanimi), piuttosto che dagli estremi più facili o più difficili.

Significatività e Rivendicazioni
Il paper sostiene che le allucinazioni sintetiche difficili generate da modelli di frontiera possono servire come un efficace segnale di fine-tuning supervisionato per ridurre le allucinazioni nei modelli più piccoli senza l'overhead degli ambienti di esecuzione. Gli autori sottolineano che:

1. Qualità rispetto alla Quantità: Un subset di dati curato e difficile (50k righe) è più efficace di set più grandi e non curati.
2. Sufficienza dell'SFT: Per compiti FIM sensibili all'arresto, un corpus SFT di alta qualità curato è un'opzione più sicura ed efficace rispetto all'addestramento contrastivo esplicito (DPO/ORPO), che può avere difficoltà nel controllo della lunghezza della generazione.
3. Generalizzazione: L'approccio migliora le capacità FIM generali (non solo la riduzione delle allucinazioni) quando applicato a modelli da 7B, sebbene i modelli da 3B richiedano una curatela attenta per evitare il forgetting catastrofico su specifici tipi di task.

Gli autori rimangono modesti riguardo ai limiti, notando che i dati di addestramento consistono in allucinazioni sintetiche piuttosto che in errori reali del modello, e che il modello 3B presenta un compromesso dipendente dalla capacità tra riduzione delle allucinazioni e accuratezza FIM generale. Non pretendono che il metodo risolva tutti i tipi di allucinazione (es. errori logici complessi) ma dimostrano la sua efficacia per le allucinazioni a livello di identificatore.