LLM-as-a-Judge for Human-AI Co-Creation: A Reliability-Aware Evaluation Framework for Coding

1. Probleemstelling

Het artikel adresseert een kritieke lacune in de evaluatie van Human-AI Co-Creatie in programmeren en software-engineering (SE). Hoewel Large Language Models (LLM's) steeds vaker worden ingezet als zowel co-creatiepartners als beoordelaars ("LLM-as-a-Judge"), zijn bestaande evaluatieprotocollen vaak ontoereikend voor deze specifieke context:

• Beperkingen van Legacy-metrics: Traditionele coderingsevaluatie steunt op eindresultaten (bijv. pass/fail-testcases), wat de waarde van intermediaire artefacten, deels oplossingen, debug-hypothese en het iteratieve redeneerproces inherent aan co-creatie niet vastlegt.
• Betrouwbaarheid en Bias: LLM-beoordelaars zijn vatbaar voor biases (bijv. voorkeur voor langere antwoorden, positie-bias) en inconsistenties. Er ontbreekt gestandaardiseerde, controleerbare frameworks die ervoor zorgen dat oordeelsoutput betrouwbaar, vergelijkbaar tussen verschillende modellen en interpreteerbaar is over multi-turn interacties heen.
• Risico's op Datalekken: In co-creatie-omgevingen creëren meerdere pogingen door dezelfde gebruiker op hetzelfde probleem "trajecten". Standaard willekeurige splitsing kan leiden tot datalekken, waarbij de beoordelaar informatie uit een latere beurt ziet tijdens de evaluatie van een eerdere beurt.

2. Methodologie

De auteurs stellen een unificerend, rubric-gedreven LLM-as-a-Judge-framework voor dat specifiek is ontworpen voor contest-stijl human-AI co-creatie. De methodologie bestaat uit drie hoofdfasen:

A. Data Processing en Dataset Constructie

• Bron: Data is verzameld uit de AI-toegestane co-creatie track van de PC Koshien (PCK) Finals, waarbij deelnemers dezelfde problemen oplostten als in het officiële contest, maar wel AI-tools mochten gebruiken.
• Trajectgroepering: Data is georganiseerd in trajecten gedefinieerd door (deelnemer, probleem)-paren om lekken te voorkomen.
• NONBLIND Context: Om realistische evaluatie te simuleren, krijgen beoordelaars een op deelnemer-niveau geaggregeerde context ($Q_u$), die alle prompt-logs voor die deelnemer concateneert. Dit zorgt ervoor dat de beoordelaar de volledige geschiedenis van de interactie van de gebruiker heeft bij het evalueren van een specifieke poging.
• Schema-beperkingen: Beoordelaars worden gedwongen gestructureerde JSON uit te brengen in plaats van vrij-vorm tekst, bevattende:
  • $p_a$: Voorspelde waarschijnlijkheid van acceptatie.
  • $s_{algo}$: Ordinale score (1-5) voor algoritmische adequaatheid.
  • $s_{robust}$: Ordinale score (1-5) voor robuustheid/beperkingen-naleving.
  • $r$: Korte onderbouwing.

B. LLM-as-a-Judge Inference Pipeline

• Multi-Model Evaluatie: Vier verschillende LLM-beoordelaars werden geëvalueerd: OpenAI (gpt-5.2), DeepSeek (reasoner), Gemini (2.5-pro) en Claude (sonnet-4).
• Verificatie en Reparatie: De pipeline omvat een robuuste verificatiestap. Als een API-call faalt of malformed JSON retourneert, herhaalt het systeem de poging met backoff. Alleen output die aan strikte schema-beperkingen voldoet (bijv. waarschijnlijkheid in [0,1], geldige ordinale scores) wordt geaccepteerd.
• Splitsingsstrategie: Een gegroepeerde splitsing (Train/Val/Test) wordt toegepast op het niveau van (deelnemer, probleem).
  • Validatie: Gebruikt om de optimale beslissingsdrempel ($t^*$) te selecteren door de Matthews Correlation Coefficient (MCC) te maximaliseren.
  • Test: Uitsluitend gebruikt voor eindrapportage om datalekken te garanderen.

C. Evaluatiemetrics

Het framework hanteert een multi-metric protocol om zowel de beoordelaars als de co-creatie-dynamiek te beoordelen:

1. Beoordelaarskwaliteit Metrics:
   • Discriminatie: ROC-AUC en PR-AUC (rangschikkingsvermogen).
   • Probabilistische Betrouwbaarheid: LogLoss, Brier Score en Expected Calibration Error (ECE).
   • Besliskwaliteit: MCC met de drempel geselecteerd op de validatieset.
   • Inter-beoordelaars Overeenkomst: Cohen's $\kappa$ (paarsgewijs) en Fleiss' $\kappa$ (multi-rater).
2. Co-Creatie Dynamiek Metrics:
   • Success@Turn: Cumulatieve fractie van trajecten opgelost bij beurt $k$.
   • Time-to-Success: Geanalyseerd via Kaplan-Meier overlevingsanalyse (behandeling van right-censoring voor onopgeloste trajecten).
   • Revisiegedrag: Gemeten met Normalized Edit Distance (NED) voor oppervlakkige veranderingen en CodeBLEU voor code-bewuste gelijkenis/convergentie.

3. Belangrijkste Bijdragen

• Betrouwbaarheidsbewust Framework: Introduceert een rigoureuze pipeline voor LLM-beoordeling die schema-beperkte output, geautomatiseerde reparatiemechanismen en gegroepeerde splitsing om trajectlekken te voorkomen, omvat.
• Multi-Metric Evaluatiesuite: Gaat voorbij aan single-metric rapportage door gezamenlijke analyse van discriminatie, kalibratie, besliskwaliteit en inter-beoordelaars overeenkomst.
• Traject-niveau Analyse: Biedt een nieuwe methode voor het analyseren van human-AI interactiepatronen (strijd-curves, overlevingsanalyse) in plaats van alleen eindresultaten.
• Empirische Brug: Verbindt de velden van "LLM-as-a-Judge" betrouwbaarheid en "Human-AI Co-Creatie" dynamiek binnen één reproduceerbare empirische setting.

4. Belangrijkste Resultaten

A. Beoordelaarsprestatie

• Discriminatie: DeepSeek en Claude behaalden de hoogste ROC-AUC (0,5937), met DeepSeek als leider in PR-AUC (0,6904). Gemini presteerde het zwakst (ROC-AUC 0,4250).
• Kalibratie: DeepSeek toonde de beste kalibratie (laagste ECE: 0,2819), terwijl Gemini en Claude hogere fouten vertoonden.
• Besliskwaliteit: DeepSeek behaalde de hoogste gethresholdde MCC op de testset (0,5000) met een conservatieve drempel (0,81).
• Inter-beoordelaars Overeenkomst: Consistentie was over het algemeen bescheiden.
  • Gemiddelde paarsgewijze Cohen's $\kappa$: 0,1592.
  • Fleiss' $\kappa$: 0,0696.
  • Implicatie: Beoordelaars zijn niet uitwisselbaar; ze vertonen verschillende biases en sterktes, wat de noodzaak onderstreept van multi-metric rapportage in plaats van vertrouwen op één enkel model.

B. Human-AI Co-Creatie Dynamiek

• Vooraf geladen Succes: Succes is sterk geconcentreerd in de vroege beurten.
  • Success@Turn bereikte 0,8533 bij de eerste waargenomen beurt.
  • Bij beurt 6 steeg dit slechts tot 0,8641.
  • Kaplan-Meier analyse bevestigt dat trajecten die verder reiken dan de eerste paar beurten afnemende meerwaarde tonen.
• Heterogene Revisiepatronen: Er is geen enkele "correcte" revisiestijl.
  • Zowel incrementele verfijning (kleine veranderingen) als brede herstructurering (grote veranderingen) leidden tot succesvolle uitkomsten.
  • Code-bewuste gelijkenis (CodeBLEU) toonde aan dat succesvolle trajecten structureel convergeren naar de geaccepteerde oplossing, ongeacht de omvang van intermediaire veranderingen.
• Prompt-Code Dissimilariteit: Hoge NED-waarden tussen prompts en code bevestigden dat de beoordelaarscontext (natuurlijke taal) en de oplossing (code) lexicaal verschillend zijn, wat het niet-triviale karakter van de evaluatietaken valideert.

5. Betekenis en Implicaties

• Voorbij Eindcorrectheid: De studie toont aan dat het evalueren van AI-ondersteunde codering vereist dat men kijkt naar het proces (traject), niet alleen naar het product. Vroege succespatronen suggereren dat effectieve co-creatie rust op snelle iteratie en verificatie in plaats van langdurig trial-and-error.
• Beoordelaars als Instrumenten, niet Orakels: De resultaten benadrukken dat LLM-beoordelaars meetinstrumenten zijn met specifieke "blinde vlekken" en sterktes. Geen enkele metric (bijv. nauwkeurigheid) vat hun volledige bruikbaarheid samen; een multidimensionaal beeld is essentieel voor controleerbaar onderzoek.
• Mensenexpertise Blijft Centraal: De bevindingen suggereren dat AI menselijk oordeel niet vervangt, maar heroriënteert. Het vermogen om intermediaire output te evalueren, stagnatie te herkennen en revisies te sturen, blijft de kritieke menselijke vaardigheid in co-creatie.
• Reproduceerbaarheid: Het voorgestelde framework biedt een sjabloon voor toekomstige studies om AI-ondersteunde codering te evalueren met transparantie, waarbij wordt gegarandeerd dat evaluatieprotocollen robuust zijn tegen datalekken en model-specifieke biases.

Concluderend biedt dit artikel een fundamentele methodologie voor het rigoureus evalueren van hoe mensen en AI samenwerken om complexe coderingsproblemen op te lossen, terwijl het tegelijkertijd een betrouwbaarheidsbewuste standaard vestigt voor het gebruik van LLM's als beoordelaars in dergelijke dynamische omgevingen.