Technische Samenvatting: CodeHacker

Probleemstelling

De evaluatie van Large Language Models (LLM's) voor codegeneratie leunt zwaar op de kwaliteit en robuustheid van testgevallen. Bestaande benchmarks lijden vaak aan een onvoldoende dekking van subtiele randgevallen, waardoor onjuiste oplossingen kunnen passeren (False Positives). Huidige geautomatiseerde benaderingen functioneren grotendeels als "Black-box Fuzzers", die vertrouwen op probabilistische input-exploratie of heuristische mutaties. Deze methoden falen vaak in het targeten van specifieke logische kwetsbaarheden van een concrete implementatie, waarbij ze prioriteit geven aan statistische dekking boven diep semantisch begrip. Gevolgelijk hangen de evaluatieresultaten af van de vraag of testgevallen toevallig foutgevallen dekken, in plaats van of het model werkelijk de semantiek en de structuur van de beperkingen begrijpt.

Methodologie

De auteurs stellen CodeHacker voor, een geautomatiseerd agent-framework ontworpen om gerichte adversariële testgevallen te genereren die latente kwetsbaarheden in programmasubmissies blootleggen. Door het "hack"-mechanisme uit de competitieve programmering na te bootsen, behandelt het framework individuele programma's als first-class objecten en zoekt het systematisch naar fout-inducerende tegenvoorbeelden.

Het framework werkt in twee primaire fasen:

Fase I: Kalibratie van Evaluatietools

Voordat het probeert contestant-submissies te hacken, zorgt CodeHacker voor de betrouwbaarheid van zijn "munitie" (testgevallen) en "oordeel" (checkers/validators) via een iteratief verfijningsproces:

• Validator Verfijning: De agent valt de input-validator aan om zwakheden te identificeren. Het voert Bypass Attacks uit (het genereren van ongeldige inputs die de validator onterecht accepteert) en Rejection Attacks (het genereren van geldige randgevallen die de validator onterecht afwijst). De validator wordt gepatcht totdat deze strikt overeenkomt met de probleemdefinities.
• Checker Verfijning: De agent probeert de output-checker op kwetsbaarheden te vinden. Het construeert Deception Attacks (onjuiste outputs die legitieme antwoorden nabootsen) en Rejection Attacks (geldige alternatieve outputs die een rigide checker afwijst).
• Anti-Hallucinatie Pipeline: Om de integriteit van de checker-updates te waarborgen, wordt een driestaps verificatiepipeline gehanteerd: het beperken van inputs tot triviale grenscasussen, het vereisen van expliciete Chain-of-Thought redenering van de genererende LLM, en het kruisverifiëren van resultaten met een onafhankelijke LLM-as-a-Judge.
• Expert Interventie: Voor complexe verificatielogica (bijv. het bewijzen van Hamiltoniaanse paden in grafen) die de typische LLM-capaciteiten overstijgt, grijpen menselijke experts in om de tools handmatig te patchen. Dit gebeurt in minder dan 5% van de gevallen, voornamelijk bij problemen met een hoge moeilijkheidsgraad.

Fase II: Generatie van Adversariële Casussen

Gewapend met gekalibreerde tools genereert de agent adversariële inputs met behulp van een Code Analyst en drie complementaire generatiestrategieën:

1. Code Analyst: Fungeert als strateeg met een Dual-Execution Interface. Het combineert Behavioral Probing (het uitvoeren van de doel-binary in een C++ sandbox om hypothesen over crashes of onjuiste outputs te verifiëren) en Precise Calculation (het gebruik van een Python-interpreter om complexiteit, randvoorwaarden en wiskundige eigenschappen zoals integer overflows te verifiëren).
2. Stress Test Generator: Verkent systematisch de grenzen van de inputruimte (bijv. maximale $N$, volledig verbonden grafen) om Runtime Errors (RE), Time Limit Exceeded (TLE) en Memory Limit Exceeded (MLE) bloot te leggen.
3. LLM-gebaseerde Generator: Onder begeleiding van de Code Analyst ontwerpt deze module gerichte semantische testgevallen om specifieke foutmodi (Wrong Answer, RE, TLE, MLE) te triggeren op basis van geïdentificeerde logische kwetsbaarheden.
4. Anti-Hash Generator: Richt zich op submissies die gebruikmaken van polynomiale rolling hashes. Voor vaste parameters formuleert het de zoektocht naar botsingen als een Shortest Vector Problem (SVP) en past het lattice reduction toe (LLL-algoritme). Voor kleinere moduli of niet-lineaire hashes wordt een Birthday Attack-strategie toegepast.

Belangrijkste Bijdragen

1. Formalisering van Hacking: De auteurs formaliseren "hacking" als een adversariële testgeneratie-taak en ontwerpen een LLM-gestuurde agent die actief zoekt naar hoogwaardige randgevallen en logische tegenvoorbeelden, waarmee zij verder gaan dan traditionele mutatiegebaseerde methoden.
2. Verbeterde Evaluatiemetrieken: Door de agent in te zetten op bestaande code-datasets, demonstreert het framework substantiële verbeteringen in zowel de True Negative Rate (TNR) als de True Positive Rate (TPR), wat aangeeft dat gegenereerde adversariële gevallen de robuustheid van de evaluatie betekenisvol versterken.
3. CodeHackerBench: De auteurs introduceren een nieuwe evaluatie-setting, CodeHackerBench, geconstrueerd door discrepanties in oordelen te minen uit de CodeContest+ dataset. Deze benchmark is ontworpen om de vermogens van modellen beter te karakteriseren in het redeneren over onjuiste code en extreme foutscenario's.

Resultaten

Experimenten uitgevoerd op 2.000 problemen uit de CodeContest+ dataset en evaluaties op LiveCodeBench leveren de volgende bevindingen op:

• Evaluatie-rigor: CodeHacker verbetert de TNR van bestaande datasets aanzienlijk. Voor Special Judge-problemen steeg de TNR van 82,18% (baseline) naar 96,05% na het toevoegen van adversariële hack-gevallen. Dit corrigeert "metrische inflatie", waarbij gebrekkige oplossingen voorheen passeerden door zwakke testdekking.
• Redeneervermogen: De Hack Success Rate (HSR) dient als een sterke differentiator voor geavanceerde reasoning-modellen. Zo bereikte DeepSeek V3.2 een HSR van 64,83%, terwijl de prestaties daalden naar 23,76% wanneer expliciete redenering werd uitgeschakeld, wat bevestigt dat het genereren van geldige hacks een redeneertaak is die constructieve afleiding van algoritmen vereist.
• Efficiëntie van RL-training: Modellen die getraind zijn op de uitgebreide CodeContests++ dataset (bevat adversariële gevallen) vertoonden consistente prestatieverbeteringen op de out-of-distribution LiveCodeBench benchmark vergeleken met modellen getraind op standaard data. Dit suggereert dat adversariële inputs dienen als dichte beloningssignalen, wat genuanceerd algoritmisch redeneren stimuleert in plaats van patroonherkenning.
• Rangschikking-omkering: De rigoureuze adversariële evaluatie onthulde rangschikking-omkeringen; bijvoorbeeld bleek GPT-5-Mini robuuster te zijn dan Gemini-3.0-Flash wanneer geëvalueerd tegen de verfijnde benchmarks, een onderscheid dat niet zichtbaar was in de originele tests.

Betekenis en Claims

Het artikel claimt dat CodeHacker adversariële generatie vestigt als een cruciaal aspect voor het evalueren van algemene algoritmische intelligentie. De auteurs stellen dat het vermogen om geldige hacks te genereren de diepe begrip van programmacode reflecteert en een meer discriminerend signaal biedt voor het beoordelen van geavanceerde programmeer-redeneercapaciteiten dan louter functionele correctheid alleen.

Naast academische evaluatie zien de auteurs CodeHacker als een essentieel onderdeel van de volgende generatie infrastructuur voor competitieve programmering, die probleemsetters ondersteunt bij kwaliteitsborging en contestants bij gepersonaliseerde training. Zij stellen verder dat het kernprincipe — systematische regressietest-augmentatie om ongeteste randvoorwaarden te onderzoeken — conceptueel overdraagbaar is naar real-world issue-solving benchmarks (bijv. SWE-bench) en bredere repository-niveau evaluaties om de evaluatie-rigor in software engineering taken te verbeteren.

Het werk houdt zich aan strikte ethische principes, waarbij ongeautoriseerde data scraping verboden is en wordt voorgeschreven dat alle adversariële evaluaties in lokale, gesandboxed omgevingen worden uitgevoerd om Denial of Service (DoS) risico's voor publieke Online Judges te voorkomen.