💻 computer science

When Policies Change Probabilities: Modular Decision-Making for LLM Code Review

Dit artikel toont aan dat huidige LLM-codebeoordelaars risicoinschatting verwarren met besluitvormingsbeleid, waardoor gerapporteerde waarschijnlijkheden verschuiven met kostenveronderstellingen, en stelt een modulaire pijplijn voor die bewijsgebaseerde risico-extractie scheidt van kostengestuurde acties om de nauwkeurigheid aanzienlijk te verbeteren en beslissingsverlies te verminderen.

Oorspronkelijke auteurs: Rasvik Kudum, Max Corbett, Hitansh Paliwal, Romaisa Fatima, Thomas Jiralerspong, Sneheel Sarangi

Gepubliceerd 2026-08-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rasvik Kudum, Max Corbett, Hitansh Paliwal, Romaisa Fatima, Thomas Jiralerspong, Sneheel Sarangi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van deskundige detectives inhuurt om mysteries op te lossen. Je geeft ze een aanwijzing en ze zeggen: "Er is een kans van 20% dat deze verdachte schuldig is." Stel je nu voor dat de regels van het spel veranderen. Plotseling kost het de stad tien keer meer als je onterecht een onschuldig persoon beschuldigt dan wanneer je een schuldige persoon laat gaan. Een slimme detective zou zijn schatting van 20% gelijk moeten houden—de verdachte en de aanwijzing zijn immers niet veranderd—maar hij zou zijn actie moeten veranderen. Hij moet nu veel voorzichtiger zijn met het arresteren van mensen.

Dit is de wereld van Large Language Models (LLM's) die optreden als code-reviewers. Deze AI-"detectives" kijken naar nieuwe computercode (patches) en proberen te raden of het dingen zal breken. Lange tijd hoopten we dat deze AI's zouden handelen als perfecte wetenschappers: het geven van een stabiele waarschijnlijkheid van falen op basis van alleen het bewijs, waarbij een aparte mens (of computer) beslist wat te doen op basis van hoeveel een fout kost. Maar wat als de "waarschijnlijkheid" van de AI helemaal geen stabiel feit is? Wat als de AI van mening verandert over de cijfers, simpelweg omdat je vertelde dat de regels van het spel waren veranderd? Dat is de grote vraag die dit paper onderzoekt.

De Grote Stemmingswisseling van de AI

De onderzoekers zetten een enorme experiment op om te zien of AI-code-reviewers werkelijk betrouwbare wetenschappers zijn of gewoon stemmingswisselende acteurs. Ze verzamelden 720 stukken code—waarvan de helft bekend stond als perfect werkend en de andere helft bekend stond als falend. Vervolgens vroegen ze vier verschillende topniveau AI-reviewers om naar deze zelfde stukken code te kijken onder verschillende "kosten"-scenario's.

In het ene scenario werd de AI verteld: "Het is even erg om een kapotte patch goed te keuren als om een goede patch af te wijzen." In een ander scenario werd de AI verteld: "O nee! Als je een kapotte patch goedkeurt, kost dat ons 10 keer meer dan wanneer je een goede afwijst!"

Hier is het schokkende deel: De AI veranderde zijn waarschijnlijkheidsgetallen. Toen de regels veranderden om fouten extreem duur te maken, veranderde de AI niet alleen zijn beslissing; de AI veranderde ook daadwerkelijk zijn schatting van hoe waarschijnlijk het was dat de code zou falen. Gemiddeld verschoof de gerapporteerde faalkans met ongeveer 13,6% tot 16,9%, enkel omdat de kostenregels veranderden. Het is alsof de detective naar dezelfde aanwijzing keek en plotseling zei: "Wacht, ik denk dat de verdachte nu 15% waarschijnlijker schuldig is," zelfs terwijl de verdachte geen millimeter was bewogen.

Het "Slechte Actor"-probleem

Het paper vond dat wanneer deze AI's gevraagd werden om beslissingen te nemen onder de "hoge kosten"-regels, ze het vreselijk deden. Sterker nog, voor elke geteste AI waren de genomen beslissingen slechter dan wanneer je simpelweg elke patch automatisch had afgewezen. Het is als een beveiligingsbeambte die, wanneer hem wordt verteld "laat niemand binnen tenzij je 100% zeker bent", begint met het afsluiten van het hele gebouw, inclusief de CEO.

Nog erger was dat de onderzoekers ontdekten dat de "waarschijnlijkheid" van de AI de boosdoener was. Wanneer ze de waarschijnlijkheidsgetallen die de AI onder de "veilige" regels gaf, toepasten op de strikte "hoge kosten"-beslissingslogica, presteerde het systeem veel beter. Dit bewijst dat het probleem niet was dat de AI geen goede beslissing kon nemen; het probleem was dat de AI loog over de cijfers wanneer hij wist dat de inzet hoog was. Het liet de druk van de regels de perceptie van de realiteit vervormen.

De Modulaire Oplossing: Een Team van Specialisten

Dus, hoe fix je een detective die van mening verandert op basis van de regels? De onderzoekers probeerden een nieuwe aanpak: Modulaire Besluitvorming. In plaats van één AI alles te laten doen (de code bekijken, het risico inschatten en beslissen wat te doen), verdeelden ze de taak.

De Risico-rapporteur: Eén AI kijkt naar de code en zegt: "Hier is het risico," zonder iets te weten van de kosten of de regels.
De Monitor: Een tweede, onafhankelijke AI geeft een apart cijfer over hoe risicovol de code is.
De Controller: Een eenvoudig computerprogramma (code) neemt die twee scores en past de kostenregels toe om de uiteindelijke beslissing te nemen.

Dit "team van specialisten" werkte veel beter. Wanneer de kosten gelijk waren, was dit modulaire systeem nauwkeuriger en maakte het minder fouten dan de enkele AI die alles probeerde te doen. Echter, het paper vond ook een limiet: wanneer de kosten van een fout extreem hoog werden (10 keer hoger), besloot zelfs dit slimme modulaire systeem om alles af te wijzen. Het bleek dat de beschikbare tools simpelweg niet goed genoeg waren om veilig iets goed te keuren wanneer de straf voor falen zo ernstig was.

De Belangrijkste Les

De belangrijkste les hier is dat we de "waarschijnlijkheid" van een AI niet kunnen vertrouwen als die AI weet wat de gevolgen zijn van zijn antwoord. Als je een betrouwbaar getal wilt, moet je erom vragen in een vacuüm, zonder de AI te vertellen hoeveel een fout zal kosten. Neem vervolgens dat getal en pas de regels zelf toe.

Het paper laat zien dat wanneer we de AI de "risicotaxatie" laten mengen met de "beslissingspolitiek", de cijfers rommelig worden en de beslissingen slechter. Door de rollen te scheiden—door één deel van het systeem alleen de feiten te laten rapporteren en een ander deel de regels te laten afhandelen—kunnen we veiligere, betrouwbaardere code-review systemen bouwen. Maar, zoals de onderzoekers ontdekten, zelfs de beste systemen hebben hun grenzen, en wanneer de inzet ongelooflijk hoog is, is de veiligste keuze soms gewoon overal "nee" tegen zeggen.

Technische Samenvatting: Wanneer beleid kansen verandert

Probleemstelling

Systemen voor code-review op basis van Large Language Models (LLM's) vertrouwen steeds vaker op modellen om het risico op een patch (faalkans) te schatten en beslissingen over goedkeuring te nemen binnen een enkele prompt. Dit ontwerp gaat ervan uit dat een gerapporteerde waarschijnlijkheid de patch en het bewijs beschrijft, onafhankelijk van het downstream besluitvormingsbeleid (bijv. de kosten van foutieve acceptatie versus foutieve afwijzing).

Dit onderzoek onderzoekt een cruciale systemische vraag: Als de patch en het bewijs vaststaan, kan een downstream besluitvormingsbeleid dan de numerieke faalkans zelf veranderen? Als een beleidsblok (dat kosten en drempelwaarden definieert) de gerapporteerde waarschijnlijkheid wijzigt, wordt de score "beleidsafhankelijk", wat deze onstabiel maakt voor hergebruik, kalibratie of vergelijking tussen verschillende organisatorische foutkosten.

Methodologie

Experimentele Opzet

De studie evalueert vier ingezette reviewer-interfaces (DeepSeek-V4-Pro, Grok-4.3, Mistral-medium-3.5, en GPT-5.5/Codex) met behulp van 15.792 reacties op 720 kandidaat-patches.

Databron: 360 repository-issues uit SWE-rebench. Voor elk issue bevat de dataset exact één patch die slaagde en één die faalde in een gearchiveerde uitvoerbare testharness, wat resulteert in een gebalanceerd foutpercentage op kandidaat-niveau van 50%.
Monitor: Een apart model (Gemini 3.5 Flash) levert een onafhankelijke continue faalscore voor elke patch.

Geëvalueerde Systeemontwerpen

One-Prompt Reviewer (Gezamenlijk): De LLM ontvangt de patch, de code-context, de monitor-score en een beleidsblok (dat kosten en drempelwaarden definieert) in een enkele prompt, en geeft zowel een waarschijnlijkheid als een actie uit.
Modulaire Pipeline (Gescheiden):
- Risico-alleen: De reviewer rapporteert een faalkans zonder enige beleidsinformatie (kosten, drempelwaarden of priors).
- Monitor: Een onafhankelijk model levert een faalscore.
- Controller: Code combineert de scores van de reviewer en de monitor en past de beslisregel toe (drempelwaardebepaling) op basis van het specifieke kostenbeleid.

Promptcondities

De studie gebruikt gematchte paren van aanroepen waarbij de patch, context en monitor-bewijs identiek zijn, maar het beleidsblok varieert:

Gelijke Kosten (Conditie A): Kosten voor foutieve acceptatie = 1, Drempelwaarde = 0,5.
Kosten-10 (Conditie C): Kosten voor foutieve acceptatie = 10, Drempelwaarde ≈ 0,091.
Lage Prior (Conditie B): Veronderstelde verandering van de faalratio naar 0,10 (gebruikt als positieve controle om gevoeligheid voor evidence priors te verifiëren).
Kosten-20 (Conditie D): Kosten voor foutieve acceptatie = 20.

Metrieken

Brier Score: Gemiddelde kwadratische fout van waarschijnlijkheidsvoorspellingen (lager is beter).
Beslissingsverlies (Decision Loss): berekend met behulp van de kosten die in de prompt worden vermeld. Het accepteren van een falende patch kost $C_{FA}$ ; het afwijzen van een passerende patch kost $C_{FR}=1$ .
Beleidsafhankelijkheid: Gemeten door de verandering in de gerapporteerde waarschijnlijkheid wanneer alleen het beleidsblok verandert, afgezet tegen de variatie bij herhaalde aanroepen met dezelfde prompt.

Belangrijkste Resultaten

1. Policy Prompts Veranderen Gerapporteerd Risico

Het vervangen van een beleidsblok met gelijke kosten door een blok met hoge kosten (10:1) veranderde de gerapporteerde faalkansen aanzienlijk, zelfs toen de patch en het bewijs ongewijzigd bleven.

Magnitude: De gemiddelde verandering in de gerappoteerde waarschijnlijkheid was 13,6–16,9 procentpunt over de vier systemen.
Stabiliteit: Voor drie van de vier systemen (Grok, Mistral, GPT/Codex) overtrof deze door beleid geïnduceerde beweging de variatie die werd waargenomen bij herhaalde aanroepen met dezelfde prompt.
Richting: De verandering was niet uniform; sommige modellen verlaagden hun risicoschattingen, terwijl andere (Grok) ze licht verhoogden, wat wijst op heterogene gedragsverschuivingen in plaats van een enkele conservatieve bias.
Nauwkeurigheid: De kosten-10 prompt verslechterde de gemiddelde Brier-score met 0,0323 vergeleken met de gelijk-kosten prompt.

2. Beslissingsimpact en Excessief Verlies

Modelacties: Voor elke reviewer resulteerden de acties die direct door de hoge-kosten (Kosten-10) prompt werden geretourneerd, in een hoger beslissingsverlies dan simpelweg alle patches afwijzen.
Bron van Verlies: Wanneer dezelfde hoge kostenregel in code werd toegepast op waarschijnlijkheden die werden opgeroepen onder gelijke kosten, nam het beslissingsverlies voor alle vier de systemen af. Dit demonstreert dat de handeling van het oproepen van de waarschijnlijkheid onder een hoge-kosten prompt bijdraagt aan het excessieve verlies, onafhankelijk van het vermogen van het model om de drempelwaarde toe te passen.
Drempelwaarde-naleving: Hoewel Grok, Mistral en GPT/Codex grotendeels de deterministische drempelwaardebepaling van hun eigen gerappoteerde waarschijnlijkheden volgden (88–98% overeenstemming), werden de waarschijnlijkheden zelf aangetast door de beleidscontext.

3. Prestaties van de Modulaire Pipeline

Gelijke Kosten: De modulaire pipeline (Risico-alleen Reviewer + Monitor + Code Controller) verbeterde de gemiddelde waarschijnlijkheidsnauwkeurigheid en verminderde het gemiddelde beslissingsverlies met 0,073 per issue vergeleken met gekalibreerde reviewer-alleen scores, waarbij 58–68% van de patches werd geaccepteerd.
Hoge Kosten (10:1): Bij een straf voor foutieve acceptatie van 10:1 accepteerde de modulaire pipeline 0% van de patches, wat overeenkomt met de "reject-all" baseline. Dit geeft aan dat hoewel het modulaire ontwerp de door beleid geïnduceerde waarschijnlijkheidsverstoring voorkomt, de beschikbare scores (zelfs gecombineerd) niet nauwkeurig genoeg zijn om niet-triviale goedkeuringen te ondersteunen onder extreme kostenrestricties.
Rol van de Monitor: De monitor verving grotendeels zwakkere reviewers (DeepSeek, Grok, Mistral), maar leverde slechts een marginale, onzekere winst voor de sterkste reviewer (GPT/Cododex).

Betekenis en Claims

Het artikel betoogt dat risico-inschatting en besluitvorming apart van elkaar moeten worden geëvalueerd. De primaire bijdrage is de demonstratie dat "downstream beleid de waarschijnlijkheid kan veranderen die het bedoeld is te gebruiken."

Interface versus Capability: De studie maakt onderscheid tussen een interfaceprobleem (beleidsafhankelijke waarschijnlijkheden die veranderen wanneer kosten veranderen) en een capaciteitslimiet (scores die niet nauwkeurig genoeg zijn om goedkeuringen onder hoge kosten te ondersteunen). Het modulaire ontwerp lost het interfaceprobleem op, maar legt de capaciteitslimiet bloot.
Evaluatieprotocol: De auteurs stellen een driedelig evaluatieproces voor voor reviewer-systemen:
1. Houd de casus en het bewijs vast, varieer het downstream beleid, en vergelijk de beweging van de waarschijnlijkheid met herhaalde aanroepen.
2. Rapporteer de fout voor respectievelijk reviewer-alleen, monitor-alleen, en gecombineerde scores met gematchte bewijsrepresentaties.
3. Pas beslisregels buiten het model toe en rapporteer het verlies over het relevante kostenbereik.
Ontwerpimplicaties: Een beleidsafhankelijke score is moeilijk te gebruiken als een software-interface omdat deze niet betrouwbaar kan worden gecached, hergekalibreerd of geconsumeerd door teams met verschillende kostenstructuren. Het scheiden van de fasen (risico-elicitatie, combinatie van bewijs en toepassing van kosten) creëert een duidelijker overzicht van waar veranderingen vandaan komen.

De auteurs verklaren expliciet dat deze bevindingen betrekking hebben op vier vaste reviewer-interfaces en een gearchiveerde harness-uitkomst; zij impliceren niet dat dit universeel gedrag is voor alle modellen of dat aparte aanroepen de enige levensvatbare methode is, maar wel dat elk ontwerp aan de test van beleidsonafhankelijkheid moet voldoen om robuust te zijn.