When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions

Technische Samenvatting: Wanneer Antwoorden en Wanneer Afzien

Probleemstelling
Code-taalmodellen worden steeds vaker ingezet voor classificatie (bijvoorbeeld kwetsbaarheidsdetectie) en generatieve taken (bijvoorbeeld codesynthese). Deze modellen vertonen echter vaak een slechte afstemming tussen voorspellende zekerheid en feitelijke juistheid, waarbij ze incorrecte voorspellingen vaak met hoge zekerheid en correcte voorspellingen met lage zekerheid koppelen. Bestaande kalibratie- en onzekerheidsschattingmethoden, grotendeels ontwikkeld voor natuurlijke taal, zijn niet effectief overdraagbaar naar code. Specifiek verminderen post-hoc kalibratietechnieken vaak de gemiddelde verkeerde kalibratie, maar falen ze in het verbeteren van de rangschikking van voorspellingen op basis van de waarschijnlijkheid van juistheid, wat een voorwaarde is voor effectieve selectieve voorspelling (afzien). Bovendien behandelen huidige benaderingen onzekerheid als een passieve indicator in plaats van een actiebaar signaal, en missen ze geïntegreerde mechanismen om onzekere gevallen op te lossen of te valideren.

Methodologie: Een Gecombineerd Beslissingskader
De auteurs stellen een implementatiegericht kader voor dat onzekerheidsschatting, modelkalibratie en toolgebaseerde afzethandeling integreert. Het kader is ontworpen om te functioneren voor zowel classificatie- als generatieve taken via drie kernelementen:

1. Onzekerheidsschatting: Het systeem extrahet interne signalen uit modellen om downstream-beslissingen te informeren. Dit omvat metrieken afgeleid van voorspellende distributies en methoden die modelvariabiliteit kwantificeren onder gecontroleerde verstoringen. Deze signalen dienen als basis voor het berekenen van de waarschijnlijkheid van juistheid, in plaats van als directe filters te fungeren.
2. Kalibratiestrategieën:
   • Pre-implementatie Kalibratie: Voor classificatiemodellen introduceert het kader een expliciete afzethoofd of een "verwerp"-klasse in de labelruimte, getraind met selectieve risicobewuste verliezen. Voor generatieve modellen wordt beloningsbewuste training toegepast om generatie af te stemmen op proxies voor juistheid (bijvoorbeeld doorlooppercentages van validatie), wat conservatief gedrag onder onzekerheid stimuleert.
   • Post-implementatie Kalibratie: Om afzien mogelijk te maken zonder hertraining, past het kader gewogen kalibratieschema's toe (met nadruk op klassen met hoge fouten of ondervertegenwoordigde klassen) en variatiebewuste kalibratie (het afbeelden van spreiding van voorspellingen naar waarschijnlijkheid van juistheid). Voor generatieve modellen vindt kalibratie plaats op zowel token-niveau (voor incrementeel vertrouwen) als sequentieniveau (voor holistische outputbeoordeling).
3. Afzien en Herstel (MCP-laag): Wanneer een gekalibreerde score onder een aanpasbare drempelwaarde daalt, ziet het systeem af en activeert het een Model-Context-Protocol (MCP) herstel-laag.
   • Voor Generatieve Taken: De MCP-laag adresseert faalmodi door inputs aan te vullen met ontbrekende taakinformatie (bijvoorbeeld het genereren van tussentijdse plannen), externe kennis in te brengen (bijvoorbeeld documentatiefragmenten) of vereenvoudigingen af te dwingen (bijvoorbeeld het beperken van de generatielengte).
   • Voor Classificatietaken: Afzien triggert domeinspecifiek herstel met behulp van statische analyzers, programmaslicing-tools of regelgebaseerde validators om controleflow en data-afhankelijkheden te beoordelen, zodat beslissingen worden ondersteund door symbolisch bewijs.

Belangrijkste Bijdragen

• Gecombineerd Kader: Een generaliseerbare architectuur voor selectief afzien en gestructureerd herstel voor zowel classificatie- als generatieve code-modelleringstaken.
• Takenspecifieke Kalibratie: Nieuwe kalibratiestrategieën die op code zijn toegespitst, waaronder logit-gebaseerde gedragskalibratie voor classificatie en gewogen schaling voor generatieve modellen.
• Dubbele Fase Afzengmechanismen: Methoden voor expliciet afzien via modelhertraining (pre-implementatie) en via gekalibreerde zekerheidsdrempels zonder hertraining (post-implementatie).
• Actiebaar Afzien: Een herconceptualisering van afzien als een beslissingsprimitief dat toolgeleide interventies (MCP) triggert in plaats van een definitief falen.
• Toezegging tot Open Wetenschap: Een belofte om code, configuraties en datasets vrij te geven onder een permissieve licentie.

Voorlopige Resultaten
De auteurs presenteren empirische bevindingen die de overdraagbaarheid van onzekerheidsmetrieken en kalibratietechnieken naar voorgeprogrammeerde code-modellen evalueren:

• Generatieve Modellen: Een gewogen logistische schalingsmethode toegepast op DeepSeek-Coder-7b en CodeLlama-7b op de MBPP+-benchmark verminderde consistent de kalibratiefout (ECE) en de Brier-score in vergelijking met Platt-schaling en isotone regressie. Bij 80% dekking overschreed de nauwkeurigheid van selectieve voorspelling 70%.
• Classificatiemodellen: Een gedragskalibratiemethode die direct werkt op modellogits (het omzeilen van softmax) werd toegepast op defectvoorspellings taken. Deze benadering leverde de laagste Brier- en ECE-scores op onder de geteste strategieën, met een selectieve nauwkeurigheid van meer dan 90% bij 80% dekking voor DeepSeek-Coder-7b en Qwen-Coder-7b.
• Onzekerheidsmetrieken: Evaluatie van 16 onzekerheidsmetrieken voor defectvoorspelling, kwetsbaarheidsdetectie en codegeneratie toonde aan dat hoewel veel correleren met juistheid, geen enkele dienst doet als taak-agnostische oplossing voor betrouwbaar afzien zonder gedragskalibratie. Niet-gekalibreerde metrieken overschatten vaak de betrouwbaarheid bij foutieve voorspellingen vanwege oppervlakkig patroonherkenning in code.

Betekenis en Beweringen
Het artikel betoogt dat een betrouwbare implementatie van code-modellen vereist dat men verder gaat dan passieve zekerheidsrapportage naar operationele systemen die voorzichtig handelen onder onzekerheid. De auteurs beweren dat hun kader een fundament biedt voor risicobewust, dekkinggecontroleerd gebruik van code-modellen. Door afzien te behandelen als een principieel beslissingsmechanisme dat wordt ondersteund door lichtgewicht analyse-tools, streeft het werk naar robuuste implementatie in software-engineeringwerkstromen met hoge risico's, zonder dekking op te offeren voor veiligheid. Het onderzoek benadrukt dat effectief afzien in codetaken gedragskalibratie vereist – het afstemmen van interne zekerheid op juistheid op het niveau van individuele gevallen – in plaats van uitsluitend te vertrouwen op distributie-metrieken.