Technische Samenvatting: CONV-TO-BENCH

Probleemstelling

De snelle vooruitgang van Large Language Models (LLM's) heeft de schaalbaarheid van traditionele evaluatiebenchmarks overtroffen. Gevestigde standaarden voor codegeneratie en redenering (bijv. BigCodeBench, HumanEval) vertrouwen sterk op arbeidsintensieve, meerfasige expertcuratie. Dit mensafhankelijke proces creëert een aanzienlijke knelpunt, waardoor de ontwikkeling van diverse, hoogwaardige evaluatiesets resource-intensief en tijdrovend is. Hoewel er uitgebreide repositories met authentieke gebruiker-assistent-dialogen bestaan (bijv. LMSYS-Chat-1M, WildChat), zijn deze voornamelijk gebruikt voor training of gedragsanalyse in plaats van voor het opzetten van benchmarks. De uitdaging ligt in het transformeren van deze ongestructureerde, meeromwentelingsinteracties – die iteratieve verfijningen en impliciete feedback bevatten – naar gestructureerde, verifieerbare evaluatiecriteria zonder ruis in te brengen of de nuance van de gebruikerintentie te verliezen.

Methodologie

De auteurs stellen Conv-to-Bench voor, een meerfasig kader dat is ontworpen om ruwe, meeromwentelingsgebruiker-assistent-dialogen automatisch om te zetten in gestructureerde evaluatiedatasets die bestaan uit geconsolideerde instructies en binaire requirement-checklists. De methodologie werkt via de volgende pijplijn:

1. Domeinspecifieke Filtering:

   • Clustering: Conversaties worden gegroepeerd aan de hand van onbewaakte topicmodellering (dichte vectorrepresentaties) en gescreend tegen een domeinspecifiek trefwoordenlexicon om relevante clusters te identificeren (bijv. programmeren).
   • Classificatie: Een zero-shot LLM-gebaseerde classifier voert op instancieniveau verificatie uit op individuele conversaties om thematische ruis te filteren, zodat het corpus uitsluitend hoogwaardige, domein-specifieke interacties bevat.

2. Instructiesynthese:

   • Een LLM analyseert de volledige conversatiegeschiedenis om een enkele, uitgebreide instructie te synthetiseren. Dit proces integreert het initiële verzoek met alle daaropvolgende verduidelijkingen en beperkingen, waardoor de evoluerende intentie van de gebruiker wordt gereconstrueerd.
   • Een binaire classifier filtert gesynthetiseerde instructies die semantisch dubbelzinnig, te vaag zijn of afhankelijk van externe bestanden die niet in de logs aanwezig zijn.

3. Feedbackgedreven Requirement-synthese:

   • Feedbackidentificatie: Het kader identificeert specifieke gebruikersberichten die evaluatieve feedback (Positief of Negatief) vormen, gebaseerd op een strikt "reactie-gebaseerd" protocol, waarbij stilte of neutrale voortzettingen worden genegeerd.
   • Checklistgeneratie: Optredend als Quality Assurance-analist, vertaalt een LLM de dialoog, de gesynthetiseerde instructie en de geïdentificeerde feedback naar een lijst van atomaire, testbare requirements, opgemaakt als binaire (Ja/Nee) vragen. Elke requirement wordt gelabeld naar zijn oorsprong (instructie versus feedback) om ablatieanalyse mogelijk te maken.

4. Scorebepaling en Statistische Kalibratie:

   • Hiërarchische Schatting: Om bias te voorkomen bij instructies met een wisselend aantal requirements, berekent het kader een Instructie-niveau Score ($S_i$) door de binaire uitkomsten van de atomaire requirements te middelen. De globale prestatie ($\theta$) is het gemiddelde van deze instructie-niveau scores.
   • Onzekerheidskwantificering: Een Cluster Bootstrap-methode ($B=1.000$) wordt ingezet om 95% betrouwbaarheidsintervallen te genereren, rekening houdend met variatie in taakmoeilijkheid en de stabiliteit van de benchmark waarborgend.

Belangrijkste Bijdragen

• Geautomatiseerde Benchmarkconstructie: De introductie van een pijplijn die authentieke meeromwentelingsdialogen omzet in gestructureerde evaluatiesets, waardoor de afhankelijkheid van handmatige expertcuratie wordt verminderd.
• Instructie-gerichte Extractie: Het aantonen dat het synthetiseren van instructies uit de hele conversatiegeschiedenis (in plaats van alleen de initiële prompt) het volledige scala aan gebruikerintentie vastlegt.
• Ablatie van Feedback: Een grondig onderzoek naar whether impliciete gebruikersfeedback (correcties, bevestigingen) dient als een nuttig verfijningssignaal of ruis introduceert. De studie isoleert "Alleen Instructies" versus "Volledig (Instructies + Feedback)" configuraties.
• Validatie van Betrouwbaarheid: Een uitgebreide evaluatie van het "LLM als rechter"-kader, waarbij geautomatiseerde uitspraken worden vergeleken met menselijk geverifieerde grondwaarheid aan de hand van Cohens Kappa en F1-scores.

Resultaten

Het kader werd geëvalueerd met 387 hoogwaardige (instructie, requirement-checklist) paren, afgeleid van 2 miljoen ruwe dialogen, met focus op het domein van programmeren.

• Betrouwbaarheid van de Rechter: De primaire evaluator (Gemini-2.5-Flash) bereikte een substantiële overeenstemming met menselijke experts ($\kappa = 0,705$) en een hoge Macro F1-score (0,852), waarmee het geautomatiseerde scoremechanisme werd gevalideerd.
• Alignering met Goudstandaarden: Conv-to-Bench toonde een bijna perfecte alignering met BigCodeBench.
  • Met behulp van de Alleen Instructies-configuratie bereikte het kader een Spearman-correlatie van $\rho = 1,000$ met BigCodeBench (Volledige Set) in zowel de "Instruct" als "Complete" modi.
  • De Volledige Pijplijn (inclusief feedback) vertoonde in sommige configuraties iets lagere of inconsistente correlaties, wat suggereert dat conversatieruis de evaluatieve integriteit kan aantasten.
• Vergelijking met Baselines: Conv-to-Bench (Alleen Instructies) presteerde beter dan de Arena-Hard-Auto (Code) benchmark in rangorde-stabiliteit ten opzichte van BigCodeBench, met hogere Spearman-correlaties ($\rho = 1,000$ versus $\rho = 0,943$ voor Arena-Hard-Auto op de Volledige Set).

Betekenis en Claims

Het artikel stelt dat Conv-to-Bench een schaalbaar, kosteneffectief paradigma biedt voor het handhaven van hoogwaardige evaluatiestandaarden naarmate gebruikersgerichte AI-toepassingen diverser worden.

• Schaalbaarheid: Door gebruik te maken van de "instructie-evolutie" die in real-world logs wordt aangetroffen, omzeilt het kader het knelpunt van handmatige taakcuratie terwijl het evaluatiesets produceert die aligneren met door experts geschreven standaarden.
• Robuustheid van Instructiesynthese: Een belangrijke bevinding is dat, hoewel meeromwentelingsinteracties het iteratieve karakter van gebruikerintentie vastleggen, instructie-gerichte extractie (het consolideren van de volledige geschiedenis in één prompt) een robuustere basis biedt voor evaluatie dan het proberen expliciete feedbacksignalen op te nemen, wat vaak ruis introduceert.
• Validatie van Geautomatiseerde Evaluatie: De studie bevestigt dat geautomatiseerde rechters, wanneer correct gekalibreerd en gevalideerd tegen menselijke grondwaarheid, complexe codegeneratietaken betrouwbaar kunnen beoordelen, waardoor een levensvatbaar alternatief wordt geboden voor resource-intensieve menselijke verificatie.

De auteurs houden een nederige houding aan, waarbij zij erkennen dat de huidige analyse beperkt is tot het Engelstalige programmeerdomein en dat de nauwkeurigheid van het kader afhankelijk blijft van de capaciteiten van de LLM-rechter. Er wordt voorgesteld om deze methodologie in toekomstig werk uit te breiden tot meertalige datasets en diverse technische velden.