💻 computer science

Reducing Hallucinations in LLM-Generated Code via Semantic Triangulation

Deze paper introduceert "semantic triangulation", een theoretisch gefundeerd raamwerk dat hallucinaties in door LLM's gegenereerde code vermindert door het probleem om te zetten in een dissociatieve variant en de consistentie tussen onafhankelijke oplossingen te verifiëren, wat leidt tot een aanzienlijk hogere nauwkeurigheid bij het selecteren van correcte programma's dan bestaande methoden.

Oorspronkelijke auteurs: Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie, Sergey Mechtaev

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Samenvatting: Hoe we de "hallucinaties" van AI-codering oplossen met een slimme driehoeksmeting

Stel je voor dat je een AI (een Large Language Model of LLM) vraagt om een computerprogramma te schrijven. De AI is slim, maar net als een mens die een beetje in de war is, kan hij dingen verzinnen die er logisch uitzien, maar in werkelijkheid fout zijn. In de tech-wereld noemen we dit hallucinaties.

Deze paper introduceert een nieuwe methode, genaamd Semantische Driehoeksmeting (Semantic Triangulation), om deze fouten op te sporen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Gevangenen" die met elkaar samenzweren

Stel je voor dat je een detective bent en je hebt een groep verdachten (de gegenereerde code) die allemaal een verhaal vertellen over hoe ze een probleem hebben opgelost.

De oude methode (Meerderheidsstemming): Je vraagt aan iedereen wat ze hebben gedaan. Als 5 van de 6 verdachten hetzelfde verhaal vertellen, denk je: "Dat moet wel waar zijn."
Het probleem: AI-modellen maken vaak dezelfde fouten. Het is alsof de verdachten met elkaar hebben afgesproken om hetzelfde nep-verhaal te vertellen. Als ze allemaal liegen, wint de leugen omdat hij het vaakst wordt verteld. De echte waarheid (de goede code) wordt dan genegeerd omdat die maar één keer voorkomt.

2. De Oplossing: De "Omgekeerde" Vraag

In plaats van de verdachten te vragen om hun verhaal nog eens te vertellen, stel je ze een fundamenteel andere vraag.

Stel je voor dat een verdachte zegt: "Ik heb een sleutel gemaakt die past in dit slot."

De oude test: Vraag: "Past deze sleutel in dit slot?" (De AI kan makkelijk liegen en zeggen: "Ja".)
De nieuwe methode (Driehoeksmeting): Vraag: "Maak eens een slot dat past in deze sleutel."

Dit is de kern van dissociatie: je verandert het probleem zo radicaal dat de AI een heel ander denkproces moet gebruiken.

Als de AI de sleutel goed heeft gemaakt, kan hij ook een goed slot maken.
Als de AI de sleutel slecht heeft gemaakt (een hallucinatie), zal hij waarschijnlijk ook een slecht slot maken.
Het magische moment: Als de sleutel en het slot perfect bij elkaar passen, is de kans enorm groot dat ze beide correct zijn. Als ze niet passen, weet je dat er iets mis is. Omdat de AI twee totaal verschillende taken moet doen, is het bijna onmogelijk dat hij op beide gebieden per ongeluk dezelfde leugen verzint.

3. Hoe werkt dit in de praktijk? (De Drie Trucs)

De auteurs hebben een tool gemaakt (genaamd just-tri-it) die automatisch drie soorten "omgekeerde" vragen bedenkt:

Omkeren (Inversie): Als de AI moet zeggen: "Hoeveel is 5 keer 5?", vraagt de tool: "Welke twee getallen geven 25 als je ze met elkaar vermenigvuldigt?" De AI moet nu een andere manier van denken gebruiken.
Opzoeken (Enumeratie): Als de AI moet zeggen: "Geef me één oplossing," vraagt de tool: "Geef me alle mogelijke oplossingen." Dit dwingt de AI om de ruimte te verkennen in plaats van te gokken.
Opdelen (Decompositie): Als een taak te groot is, wordt hij opgesplitst in kleine stukjes die apart worden getest.

4. Waarom is dit zo slim?

De paper bewijst wiskundig dat deze methode werkt, zelfs als de AI maar een kleine kans heeft om het juiste antwoord te geven (bijvoorbeeld 7%).

De "Valse Getuige": Andere methoden gebruiken ook gegenereerde tests of specificaties. Maar die tests zijn ook gemaakt door dezelfde AI. Het is alsof je een getuige vraagt die dezelfde leugen kent als de verdachte. Ze zullen elkaar bevestigen, maar het blijft een leugen.
De "Onafhankelijke Getuige": Driehoeksmeting zorgt ervoor dat de "getuige" (het omgekeerde probleem) een heel ander verhaal moet vertellen. Als ze toch overeenkomen, is het bewijs van echtheid veel sterker.

5. Het Resultaat

De auteurs hebben hun tool getest op moeilijke programmeeropgaven.

Ze vonden 24% meer correcte programma's dan bestaande methoden.
Ze konden zelfs de juiste oplossing vinden bij problemen waar de AI maar een kleine kans had om het goed te doen.
Ze waren de enige die goed werkten bij problemen waar er meerdere goede antwoorden mogelijk zijn (bijvoorbeeld: "Schrijf een script dat een lijst sorteert" – er zijn 100 goede manieren om dat te doen, en de AI kan er eentje kiezen die er anders uitziet dan de rest, maar toch goed is).

Conclusie

Kortom: Semantische Driehoeksmeting is als een slimme detective die niet luistert naar wat de verdachten zeggen, maar hen een onmogelijke omgekeerde vraag stelt. Als ze die vraag ook maar goed kunnen beantwoorden, weten we dat ze de waarheid spreken. Het is een veilige, betrouwbare manier om AI-codering te controleren, zelfs als de AI zelf niet helemaal zeker is.

Titel: Het Verminderen van Hallucinaties in door LLM gegenereerde Code via Semantische Triangulatie

Auteurs: Yihan Dai, Sijie Liang, Haotian Xu, Peichu Xie en Sergey Mechtaev (Peking University en Beijing Forestry University).

1. Het Probleem: Hallucinaties en Gecorreleerde Fouten

Grote Taalmodellen (LLMs) kunnen uitvoerbare code genereren op basis van natuurlijke taalbeschrijvingen, maar deze code bevat vaak bugs of kwetsbaarheden door "hallucinaties" (confabulaties).

De beperking van bestaande methoden: Bestaande aanpakken proberen correctheid te beoordelen met behulp van door het LLM gegenereerde proxies, zoals tests of automatisch gegenereerde specificaties (bijv. Hoare-triples). Het fundamentele probleem is dat deze proxies door hetzelfde imperfecte model worden gegenereerd.
Gecorreleerde fouten: Omdat het model dezelfde logica gebruikt voor zowel de code als de validatie, zullen ze vaak dezelfde fouten maken. Dit leidt tot "corroboratie" (ondersteuning) van fouten in plaats van het opsporen ervan. Een veelgebruikte methode, meerderheidsstemming (plurality voting), faalt hierbij omdat het de meest voorkomende (maar vaak foutieve) oplossing selecteert, in plaats van de zeldzame juiste oplossing.
Het probleem van onnauwkeurige problemen: Veel programmeertaken staan meerdere geldige oplossingen toe (inexact problems). Bestaande methoden hebben moeite om hier een consensus over te vormen, omdat ze vaak uitgaan van een unieke correcte oplossing.

2. Methodologie: Semantische Triangulatie

De auteurs introduceren Semantische Triangulatie, een theoretisch onderbouwd kader dat modelfouten "de-correleert" door het originele probleem te transformeren naar een variant die fundamenteel een ander algoritme vereist.

Kernprincipes:

Dissociatieve Transformatie: Het originele probleem $d$ wordt omgezet in een nieuw probleem $d'$ dat voldoende anders is (bijv. door inversie of decompositie) zodat het LLM moeite heeft om dezelfde hallucinatie in beide contexten te reproduceren.
Hyper-eigenschappen ( $\phi$ ): Er wordt een relatie gedefinieerd tussen oplossingen van $d$ $d$ en $d'$ $d^{'}$ . Deze relatie moet twee strikte eigenschappen hebben:
- Bijjectie-inducerend: Er moet een één-op-één correspondentie zijn tussen equivalentieklassen van programma's. Dit zorgt ervoor dat een fout in het originele probleem leidt tot een specifieke, andere fout in het getransformeerde probleem, waardoor het onwaarschijnlijk is dat twee onafhankelijke fouten per toeval overeenkomen.
- Correctheids-koppeling: Een correcte oplossing voor $d$ moet corresponderen met een correcte oplossing voor $d'$ .

Concrete Implementaties (in het tool just-tri-it):
De auteurs hebben vier methoden geïmplementeerd die aan deze theoretische eisen voldoen:

FWD-INV & FWD-SINV (Inversie): Het probleem wordt omgekeerd (bijv. van "geef output op basis van input" naar "geef input op basis van output"). Voor niet-bijectieve functies wordt een set-valued inverse gebruikt (alle mogelijke inputs teruggeven).
ENUM-SINV (Enumeratie): Voor onnauwkeurige problemen wordt een enumeratie-probleem gegenereerd (alle geldige outputs voor een input vinden) en gekoppeld aan een set-gebaseerde inverse.
STREAM: Een meta-methode voor stream-verwerking die triangulatie puntsgewijs toepast.

Werkingsprincipe:
Het systeem samplet onafhankelijke oplossingen voor zowel het originele als het getransformeerde probleem. Als een oplossing voor $d$ consistent is met een oplossing voor $d'$ volgens de hyper-eigenschap $\phi$ , wordt dit gezien als een sterk bewijs van correctheid. Omdat hallucinaties zelden over dissociatieve transformaties heen consistent blijven, filtert deze methode fouten effectief.

3. Belangrijkste Bijdragen

Theoretisch Kader: Een wiskundig bewijs (gebaseerd op de herschikkingsongelijkheid en een model van LLM-hallucinaties als "stochastische papegaaien") dat aantoont dat semantische triangulatie de kans op het selecteren van een correct programma wiskundig garandeert verhoogt ten opzichte van meerderheidsstemming.
Praktische Instantiatie: De ontwikkeling van just-tri-it, een tool die automatisch dissociatieve transformaties genereert en toepast.
Formele Verificatie: Alle vier de triangulatiemethoden zijn mechanisch bewezen in het Lean-theorema-bewijzer om te voldoen aan de vereisten van bijjectie en correctheidskoppeling.
Omgaan met Onnauwkeurigheid: Het is de eerste methode die consistent omgaat met problemen waarbij meerdere niet-equivalente oplossingen geldig zijn.

4. Resultaten

De tool werd geëvalueerd op de benchmarks LiveCodeBench en CodeElo (inclusief een subset van onnauwkeurige problemen) met drie state-of-the-art modellen: GPT-4o, DeepSeek-V3 en Gemini 2.5 Flash.

Verbeterde Betrouwbaarheid: Triangulatie verhoogde de waarschijnlijkheid om een correct programma te selecteren met 24% ten opzichte van de beste baselines (zoals testgeneratie en auto-geformaliseerde specificaties).
Selectie vs. Afzien (Abstention): In scenario's waar het model moet kiezen tussen een oplossing kiezen of afzien (wanneer het niet zeker is), behaalde just-tri-it een 26% hogere F1-score dan de baselines.
Prestatie bij Lage Kans: De methode kon correcte oplossingen selecteren met een sample-kans zo laag als 0.07, terwijl andere methoden hier vaak faalden of afzagen.
Onnauwkeurige Problemen: Het was de enige methode die consistent presteerde op problemen met meerdere geldige oplossingen, waar meerderheidsstemming faalt door de spreiding van correcte antwoorden.
Kosten: De methode vereist ongeveer 2,5x meer tijd en 4,9x meer tokens dan eenvoudige meerderheidsstemming, maar presteert aanzienlijk beter in betrouwbaarheid.

5. Betekenis en Conclusie

Deze studie biedt een fundamentele doorbraak in het betrouwbaar maken van door AI gegenereerde code. In plaats van te vertrouwen op interne consistentie (die vaak leidt tot bevestiging van fouten), introduceert semantische triangulatie een externe, onafhankelijke validatie via een fundamenteel ander perspectief op hetzelfde probleem.

De bevindingen tonen aan dat het "de-correlateren" van fouten door het gebruik van dissociatieve transformaties (zoals inversie) een krachtige strategie is om hallucinaties te detecteren. Dit maakt LLM's betrouwbaarder voor complexe, moeilijke programmeertaken en voor situaties waar meerdere oplossingen mogelijk zijn, wat essentieel is voor de toekomstige adoptie van AI in kritieke softwareontwikkeling.