Technische Samenvatting: Beoordeling, Exploitatie en Mitigatie van Syntactische Robuustheidsfalen in LLM-gebaseerde Codegeneratie

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor codegeneratie, met name in wetenschappelijk rekenen en domeinen die wiskundig redeneren vereisen. Een kritiek betrouwbaarheidsprobleem doet zich voor wanneer LLM's de opdracht krijgen code te genereren op basis van prompts die wiskundige formules bevatten. Hoewel twee formules semantisch equivalent kunnen zijn (bijvoorbeeld $a \times x + b = 0$ en $a \times x + a + b = a$), verschillen ze syntactisch. Het artikel stelt dat een robuuste LLM-gebaseerde codegenerator semantisch equivalente code moet produceren, ongeacht dergelijke syntactische variaties in de invoerprompt. De auteurs observeren echter dat huidige state-of-the-art modellen vaak niet in staat zijn deze consistentie te handhaven, waardoor ze verschillende of incorrecte code genereren voor semantisch identieke maar syntactisch verschillende formules. Dit gebrek aan syntactische robuustheid vormt een risico voor geautomatiseerde codegeneratiepijplijnen, vooral wanneer invoer onderhevig is aan natuurlijke variaties of adversariële manipulaties.

Methodologie

Formele Definitie van Syntactische Robuustheid

De auteurs formaliseren syntactische robuustheid als de mate waarin een LLM-gebaseerde codegenerator ($G$) semantisch equivalente programma's ($C$) produceert voor semantisch equivalente maar syntactisch verschillende prompts ($P$).

• Promptstructuur: Een prompt $P$ wordt gedefinieerd als een tuple $\langle T, F \rangle$, waarbij $T$ Engelse tekst is en $F$ een wiskundige formule.
• Equivalentie: Twee formules $F_1$ en $F_2$ zijn semantisch equivalent ($[[F_1]] \equiv [[F_2]]$) als ze onder dezelfde waardering tot dezelfde waarde evalueren. Twee programma's zijn equivalent als ze voor alle invoer identieke uitvoer produceren.
• Maatstaf: Syntactische robuustheid wordt gemeten als het percentage syntactische variaties van een formule waarvoor de LLM code genereert die equivalent is aan een referentieoplossing.

Experimenteel Ontwerp

1. Datasetconstructie: De studie maakt gebruik van 52 prompts uit diverse bronnen, waaronder de Clover-dataset (formele specificaties), HackerRank, MATH en MaTT. Prompts worden gecategoriseerd in:
   • Redeneringsprompts: Vereisen wiskundige manipulatie (bijvoorbeeld integratie) om code af te leiden.
   • Vertaalprompts: Vereisen directe vertaling van een gegeven formule naar code.
2. Syntactische Mutaties: De auteurs definiëren een contextvrije grammatica voor wiskundige formules en introduceren 18 mutatietypes voor vergelijkingen en 12 voor expressies. Deze mutaties (bijvoorbeeld commutatieve optelling, nul toevoegen, variabele hernoemen) behouden de semantiek maar veranderen de syntaxis. Ze genereren variaties tot een "syntactische afstand" van 5 (aantal mutatiestappen).
3. Evaluatiepijplijn:
   • Generatie: LLM's genereren code voor originele en gemuteerde prompts.
   • Verificatie: gegenereerde code wordt gecompileerd en onderworpen aan differentiatietesten tegen referentieoplossingen met 100 willekeurige invoerwaarden. Zwevende-kommavergelijkingen gebruiken een epsilon-drempel om afrondingsfouten te compenseren.
   • Geëvalueerde Modellen: GPT-3.5, GPT-4o, Llama-3.1-70B, CodeLlama en varianten met verbeterd redeneren (Chain-of-Thought, Diep Probleembegrip).

Aanvalsstrategieën

Het artikel stelt black-box-aanvalsstrategieën voor om syntactische robuustheidsfalen te exploiteren door mutaties toe te passen om de robuustheidsscore van het model te minimaliseren:

• NaiveUniform: Willekeurige selectie van mutaties.
• Uniform: Willekeurige selectie die een specifieke syntactische afstand garandeert.
• Gewogen: Probabilistische selectie op basis van impactscores van mutaties afgeleid uit profilering.
• Top-K: Selectie uit de top 50% van mutaties die als meest schadelijk voor robuustheid zijn geïdentificeerd.

Mitigatiestrategie

Om deze falen te counteren, stellen de auteurs een voorverwerkingsstap voor die formulereductie omvat. Deze techniek past een reeks reductieregels toe (bijvoorbeeld het verwijderen van overbodige optellingen/aftrekkingen, het verschuiven van termen naar één kant van een vergelijking) om de wiskundige formule in de prompt te vereenvoudigen voordat deze aan de LLM wordt aangeboden. De hypothese is dat kortere, vereenvoudigde formules gemakkelijker correct door LLM's te verwerken zijn.

Belangrijkste Resultaten

1. Gebrek aan Syntactische Robuustheid (RQ1)

State-of-the-art LLM's zijn niet syntactisch robuust. Naarmate de syntactische afstand (aantal mutaties) toeneemt, neemt de mate van robuustheid consequent af bij alle modellen.

• GPT-4o+CoT presteerde het beste met een gemiddelde robuustheid van 87,4%, gevolgd door GPT-4o met 83,87%.
• Zelfs de beste modellen lieten een daling in prestaties zien naarmate mutaties toenamen, waarbij GPT-3.5 een significante daling ervoer (-9,52% per afstandsstap).

2. Redenering versus Vertaling (RQ2)

Er is een aanzienlijk verschil in robuustheid op basis van prompttype:

• Vertaalprompts (directe formule-naar-code) vertoonden een hoge robuustheid (~83,80%).
• Redeneringsprompts (die wiskundige afleiding vereisen) vertoonden een aanzienlijk lagere robuustheid (~42,86%).
• Redeneringsprompts leden aan een steilere daling in robuustheid naarmate de syntactische afstand toenam, vergeleken met vertaalprompts.

3. Effectiviteit van Aanvallen (RQ3)

De voorgestelde aanvalsstrategieën degraderen de syntactische robuustheid effectief.

• Top-K en Gewogen aanvallen waren het meest effectief.
• Met de Top-K-strategie daalde de syntactische robuustheid van GPT-3.5 op redeneringsprompts tot 14,64% bij afstand 5.
• Top-K-aanvallen vereisten minder mutaties om een doelwit lage robuustheidsniveau te bereiken in vergelijking met andere strategieën (bijvoorbeeld het terugbrengen van robuustheid tot 10% vereiste slechts 3 mutaties met Top-K versus 5 met Gewogen).

4. Mitigatie via Reductie (RQ4)

De voorverwerkingsstap voor formulereductie verbeterde de robuustheid aanzienlijk.

• Het toepassen van reducties op gemuteerde prompts verhoogde de syntactische robuustheid met gemiddeld 20,37% over de modellen heen.
• Voor GPT-4o+CoT verbeterden reducties de robuustheid zelfs boven die van de originele (ongemuteerde) prompts met 0,6%.
• De techniek slaagde erin de impact van Top-K-aanvallen te mitigeren en herstelde robuustheidsniveaus die dicht bij die van de originele prompts lagen.

Betekenis en Claims

Het artikel claimt de eerste te zijn die syntactische robuustheid specifiek voor LLM-gebaseerde codegeneratie met wiskundige formules formeel definieert en systematisch evalueert. De betekenis hiervan ligt in:

1. Identificatie van een Kritieke Kwetsbaarheid: Aantonen dat LLM's zeer gevoelig zijn voor syntactische variaties in wiskundige invoer, met name wanneer wiskundig redeneren vereist is.
2. Adversariële Blootstelling: Aantonen dat deze kwetsbaarheden kunnen worden geëxploiteerd via black-box-aanvallen om codegeneratiefalen te veroorzaken met minimale promptwijzigingen.
3. Praktische Mitigatie: Voorstellen van een lichtgewicht, model-agnostische voorverwerkingstechniek (formulereductie) die de betrouwbaarheid aanzienlijk verbetert zonder modelhertraining of architecturale wijzigingen te vereisen.
4. Benchmarking: Leveren van een formeel raamwerk, een dataset van 52 prompts met mutatieregels en evaluatiemaatstaven om robuustheid in toekomstig onderzoek te beoordelen.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn in codegeneratie, hun gebrek aan syntactische robuustheid in wiskundige contexten het gebruik van mitigatiestrategieën zoals formulereductie vereist voordat ze worden ingezet in kritieke of geautomatiseerde pijplijnen.