💻 computer science

Reducing Hallucinations in LLM-Generated Code via Semantic Triangulation

Il paper introduce la "triangolazione semantica", un framework teorico che riduce le allucinazioni nei codici generati da LLM trasformando il problema in una variante dissociativa per verificare la coerenza tra soluzioni indipendenti, ottenendo risultati significativamente superiori rispetto ai metodi esistenti nella selezione di programmi corretti.

Autori originali: Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

Pubblicato 2026-03-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente molto intelligente, ma un po' distratto, che scrive codice per te. Quando gli chiedi di creare un programma, lui spesso ne produce uno che sembra funzionare, ma che in realtà contiene errori nascosti. Questo fenomeno si chiama "allucinazione" dell'IA: l'IA inventa soluzioni che sembrano plausibili ma sono sbagliate.

Il problema è: come fai a capire se il codice che ti ha dato è davvero corretto?

Fino a poco tempo fa, il metodo standard era chiedere all'IA di generare molte versioni dello stesso codice e scegliere quella che appare più spesso (come un voto a maggioranza). Ma ecco il trucco: se l'IA è distratta, tende a fare lo stesso errore in tutte le versioni. È come se interrogassi dieci testimoni che hanno già cospirato per raccontare la stessa bugia: il loro "accordo" non prova che stiano dicendo la verità, anzi, conferma solo la bugia!

Altri metodi provavano a chiedere all'IA di scrivere dei "test" o delle "specifiche" per verificare il codice. Ma anche qui, l'IA scrive i test basandosi sulla stessa logica sbagliata, quindi i test confermano l'errore invece di scoprirlo.

La Soluzione: La "Triangolazione Semantica"

Gli autori di questo paper hanno pensato: "Cosa farebbe un detective esperto per smascherare un bugiardo?"
Risposta: Non chiedere la stessa domanda in modi diversi. Chiedigli di raccontare la storia da un angolo completamente inaspettato e diverso. Se il bugiardo è stato preparato solo su una versione della storia, crollerà quando gli chiederai dettagli da un'altra prospettiva.

Hanno chiamato questo metodo Triangolazione Semantica. Ecco come funziona, spiegato con una metafora:

1. Il Detective e il Sosia (Inversione del Problema)

Immagina che il problema originale sia: "Scrivi un programma che prende una lista di nomi e restituisce il numero totale di lettere."
L'IA potrebbe sbagliare e restituire un numero sbagliato.

Invece di chiedere di nuovo "conta le lettere", il metodo della triangolazione chiede all'IA di risolvere il problema inverso: "Dato un numero (es. 15), scrivi un programma che genera tutte le possibili liste di nomi che hanno esattamente 15 lettere."

Perché funziona? Per risolvere il primo problema serve un algoritmo di "conteggio". Per risolvere il secondo serve un algoritmo di "generazione" (molto più complesso e diverso).
Il trucco: È molto difficile che l'IA faccia lo stesso identico errore in due compiti che richiedono logiche completamente diverse. Se il programma originale conta male, è improbabile che il programma inverso generi esattamente le liste sbagliate che corrispondono a quel conteggio errato.

2. Il Controllo di Incrocio (La Triangolazione)

Ora, il sistema prende la soluzione del problema originale e la soluzione del problema inverso e le mette in relazione:

Se prendo la lista generata dal programma inverso e la passo al programma originale, il numero che ottengo torna a combaciare con quello di partenza?
Se sì, è un segnale fortissimo che entrambi i programmi sono corretti.
Se no, significa che almeno uno dei due sta "allucinando" (mentendo), e il sistema scarta la soluzione.

3. Gestire i "Problemi Vaghi" (Enumerazione)

A volte, un problema non ha una sola risposta giusta, ma molte. Esempio: "Scrivi un programma che ordina una lista di numeri in modo che sia crescente." (Qui ci sono molte liste diverse che soddisfano il criterio).
In questi casi, la triangolazione chiede all'IA di fare un elenco completo di tutte le risposte possibili (enumerazione) e di verificare che la soluzione scelta sia inclusa in questo elenco "sicuro". È come se il detective chiedesse: "Mostrami tutte le possibili versioni della storia, e poi dimmi quale di queste è quella vera".

I Risultati nella Vita Reale

Gli autori hanno testato questo metodo su modelli di intelligenza artificiale molto potenti (come GPT-4o e DeepSeek). I risultati sono stati sorprendenti:

Hanno aumentato la probabilità di scegliere il codice corretto del 24% rispetto ai metodi tradizionali.
Sono riusciti a salvare soluzioni corrette anche quando l'IA aveva solo il 7% di probabilità di indovinarle da sola (un livello di difficoltà dove gli altri metodi fallivano completamente).
Funziona anche quando ci sono più soluzioni corrette possibili, cosa che i vecchi metodi faticavano a gestire.

In Sintesi

La Triangolazione Semantica è come avere un detective che non si fida della prima storia che sente. Invece di chiedere "È vero?", chiede: "Dimmi come faresti il contrario di quello che hai appena detto". Se le due storie si incastrano perfettamente, allora la verità è stata trovata. Se c'è un buco, il detective sa che c'è una bugia (un errore nel codice) e scarta la soluzione.

È un modo intelligente, basato sulla logica matematica, per "pulire" il codice generato dall'IA, rendendolo molto più affidabile senza bisogno di leggere ogni riga manualmente.

1. Il Problema: Allucinazioni e Correlazione degli Errori

I Large Language Models (LLM) sono in grado di generare codice eseguibile da descrizioni in linguaggio naturale, ma i programmi risultanti contengono spesso bug dovuti alle "allucinazioni" (o confabulazioni) del modello.
Il problema centrale affrontato dal paper è l'inefficacia delle strategie attuali per identificare il codice corretto tra un insieme di campioni generati:

Voto a pluralità (Plurality Voting): Seleziona la soluzione più frequente. Tuttavia, poiché gli LLM tendono a produrre errori correlati (es. lo stesso errore logico ricorrente), il voto a pluralità rischia di amplificare l'errore dominante invece di trovare la verità.
Proxies imperfetti: Metodi che utilizzano test generati dall'LLM o specifiche formalizzate automaticamente (es. triple di Hoare) falliscono perché questi "testimoni di plausibilità" sono generati dallo stesso modello imperfetto. Di conseguenza, tendono a corroborare gli errori del codice anziché rilevarli (un "testimone di parte" che conferma una falsa alibi).
Problemi imprecisi (Inexact Problems): Molti task di programmazione ammettono più soluzioni corrette non equivalenti. In questi casi, la votazione a pluralità fallisce ulteriormente perché le soluzioni corrette possono essere sparse tra molte varianti, mentre un errore comune può dominare.

2. Metodologia: Triangolazione Semantica

Gli autori introducono la Triangolazione Semantica, un framework teorico e pratico progettato per decorrelare gli errori del modello. L'idea fondamentale è trattare il problema di verifica come un'indagine: invece di chiedere al modello di confermare se stesso, si trasforma il problema originale in una variante dissociativa.

Principi Fondamentali

La triangolazione semantica si basa su due requisiti teorici rigorosi:

Trasformazione Dissociativa: Il problema originale $d$ viene trasformato in un nuovo problema $d'$ che richiede un algoritmo fondamentalmente diverso (es. invertire input e output, enumerare tutte le soluzioni). Questo rende improbabile che l'LLM commetta lo stesso errore specifico in entrambe le versioni.
Corrispondenza Biunivoca e Accoppiamento di Correttezza: Esiste una relazione (iperproprietà $\phi$ $ϕ$ ) che mappa le classi di equivalenza dei programmi.
- Bijectività: Ogni classe di errori in $d$ deve mappare su una classe di errori diversa in $d'$ . Questo impedisce che due programmi errati "casualmente" concordino.
- Accoppiamento di Correttezza: Una soluzione corretta per $d$ deve mappare su una soluzione corretta per $d'$ .

Se una soluzione per $d$ e una per $d'$ concordano secondo $\phi$ , la probabilità che siano entrambe corrette aumenta drasticamente rispetto alla semplice votazione a pluralità.

Implementazione Pratica (Strumenti)

Il framework è stato implementato in uno strumento chiamato just-tri-it, che utilizza quattro metodi di triangolazione specifici:

Inversione (FWD-INV / FWD-SINV): Trasforma il problema in una versione inversa (es. dato un output, trovare gli input possibili). Per gestire la non biunivocità, si usano inversi a valori insiemistici (Set-valued Inverse), che restituiscono l'elenco completo degli input validi.
Enumerazione delle Risposte (ENUM-SINV): Per problemi imprecisi, si genera un programma che enumera tutte le soluzioni valide per un dato input. Questo enumeratore viene poi triangolato contro l'inverso a valori insiemistici.
Decomposizione (STREAM): Per problemi di elaborazione di stream, si scompone il problema in operazioni punto-punto (pointwise) per semplificare l'inversione.

Il processo utilizza l'algoritmo RANSAC (Random Sample Consensus) per aggregare i risultati e selezionare la soluzione più affidabile o astenersi (abstention) se non c'è consenso sufficiente.

3. Contributi Chiave

Framework Teorico: Definizione formale della triangolazione semantica con prove matematiche (basate sulla disuguaglianza di riordinamento) che dimostrano come essa aumenti la probabilità di identificare il codice corretto rispetto al voto a pluralità, anche in presenza di errori correlati.
Dimostrazioni Meccanizzate: Tutte le proprietà teoriche dei metodi proposti sono state verificate e provate formalmente utilizzando il linguaggio Lean.
Gestione dei Problemi Imprecisi: È il primo metodo in grado di gestire coerentemente problemi che ammettono multiple soluzioni corrette non equivalenti, superando i limiti delle specifiche Hoare tradizionali.
Strumento Open Source: Implementazione completa di just-tri-it disponibile pubblicamente.

4. Risultati Sperimentali

Il tool è stato valutato su benchmark recenti e difficili (LiveCodeBench e CodeElo) utilizzando modelli all'avanguardia come GPT-4o, DeepSeek-V3 e Gemini 2.5 Flash.

Miglioramento della Correttezza: La triangolazione aumenta la probabilità di selezionare un programma corretto del 24% rispetto alle baseline (generazione di test, metamorfismo, specifiche auto-formalizzate).
Punteggio F1 di Astensione: Nei scenari di "selezione o astensione" (dove il sistema decide se rispondere o meno), il metodo raggiunge un punteggio F1 superiore del 26% rispetto alla baseline migliore.
Robustezza su Problemi Difficili: A differenza dei metodi basati sulla soglia di probabilità (es. selezionare solo se $P \ge 0.5$ ), just-tri-it riesce a identificare e selezionare soluzioni corrette anche quando la probabilità di campionamento è molto bassa (es. 0.07), rendendolo efficace su task complessi.
Performance su Problemi Imprecisi: È l'unico metodo che gestisce coerentemente i problemi imprecisi, mantenendo alta l'affidabilità dove la votazione a pluralità fallisce.
Costi: Il metodo comporta un aumento dei costi computazionali (tempo e token) rispetto alla semplice generazione, ma offre un guadagno significativo in affidabilità.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti fondamentale nella verifica del codice generato da LLM.

Cambio di Paradigma: Sposta l'attenzione dalla semplice generazione di più campioni alla creazione di testimoni di plausibilità indipendenti attraverso trasformazioni semantiche profonde.
Affidabilità Teorica: Fornisce una base teorica solida per spiegare perché certi metodi falliscono (mancanza di biunivocità) e perché la triangolazione funziona (decorrelazione degli errori).
Applicabilità Reale: Dimostra che è possibile costruire sistemi di verifica robusti per l'LLM che non richiedono specifiche formali umane, ma che sfruttano la capacità del modello stesso di risolvere varianti del problema, purché queste varianti siano strutturalmente diverse.

In sintesi, la triangolazione semantica offre un meccanismo di consenso robusto che trasforma il problema della verifica del codice in un problema di consistenza tra task correlati ma distinti, riducendo drasticamente l'impatto delle allucinazioni degli LLM.