Technische Samenvatting: GrowLoop – Zelfevoluerende Conversatie-evaluatie Gezaaid door Mensen

1. Probleemstelling

De evaluatie van Large Language Models (LLM's) in open-ended conversatie verschuift van verifieerbaarheid (bijv. wiskunde, code) naar menselijkheid (naturaliteit, persoonlijkheid, empathie). Het evalueren van deze kwaliteiten staat echter voor drie fundamentele uitdagingen die zijn geworteld in taciete kennis (kennis die mensen intuïtief bezitten maar moeite hebben om te articuleren):

1. Lage Inter-Annotator Overeenkomst: In tegenstelling tot verifieerbare taken variëren menselijke oordelen over menselijkheid sterk. Waar sommige gevallen consensus opleveren, zijn er andere gevallen met legitieme meningsverschillen gebaseerd op verschillende culturele achtergronden, communicatiestijlen en persoonlijke voorkeuren. Bestaande methoden dwingen vaak een enkele grondwaarheid af of matchen annotatiedistributies blindelings, waardoor ze niet onderscheid kunnen maken tussen evaluatiefouten en legitieme afwijkende meningen.
2. Onvermogen om Criteria te Formaliseren: Taciete kennis weerstaat expliciete formulering. Benchmarks geschreven door experts vertrouwen op intuïtie die moeilijk te coderen is in stabiele rubrieken, terwijl Reward Models getraind op voorkeuren vaak werken als black boxes, zonder interpreteerbaarheid en het vermogen om te worden gedebugged of gerepareerd.
3. Statische Benchmarks versus Evoluerende Doelen: Naarmate AI-capaciteiten vooruitgang boeken en menselijke verwachtingen verschuiven, worden statische benchmarks verouderd. Ze slagen er niet in om nieuwe faalmodi te dekken of zich aan te passen aan veranderende culturele en technologische contexten. Huidige "zelfevoluerende" benaderingen schalen typisch alleen de moeilijkheidsgraad van gevallen, maar evolueren de evaluatiecriteria (rubrieken) zelf niet.

2. Methodologie: Het GrowLoop-kader

GrowLoop is een zelfevoluerend conversatie-evaluatiesysteem aangedreven door minimale menselijke zaadannotaties en modelvoortgang. Het werkt op twee distincte regimes gebaseerd op annotator-overeenkomst en maakt gebruik van een Rubriek-Geval dual-loop co-evolutie mechanisme.

2.1 Consensus-Divergentie Bewuste Evaluatie

Het systeem partitioneert evaluatiegevallen in twee zones:

• Consensus Zone: Gevallen waar menselijke annotatoren het eens zijn. Hier wordt het systeem geëvalueerd op mens-AI overeenstemming.
• Divergentie Zone: Gevallen waar annotatoren legitiem het oneens zijn. Hier hoeft het systeem geen specifieke grondwaarheid te matchen, maar moet het een plausibel oordeel produceren binnen het bereik van redelijke menselijke meningen. Dit erkent dat meerdere geldige oordelen gelijktijdig kunnen bestaan.

2.2 Rubriekgeneratie (Exteriorisatie van Taciete Kennis)

Het systeem zet minimale menselijke zaadannotaties (50 gevallen) om in operationele evaluatie-instrumenten via Heuristisch Leren, een proces dat de rubriek behandelt als een vrije tekstuele variabele geoptimaliseerd door LLM-agenten. Het proces omvat drie fasen:

1. Cold-Start Initialisatie: De agent analyseert zaadannotaties bottom-up, geleid door structurele priors uit bestaande benchmarks (bijv. scheiding veiligheid-kwaliteit, hiërarchische dimensies). Het extrahert kandidaat-dimensies en "dodelijke kwesties" (bijv. veiligheidsbreuken) om twee complementaire rubrieken op te starten: Rubriek_veiligheid (binaire detectie van dodelijke kwesties) en Rubriek_kwaliteit (multidimensionale scoring).
2. Heuristisch Leren: Een iteratief optimalisatielooptje verfijnt de rubrieken.
   • Zone-bewuste Vergelijking: Optimalisatiesignalen worden alleen afgeleid uit de consensuszone om te voorkomen dat men achter ruis in dubbelzinnige gevallen aanloopt.
   • Natuurlijke Taal-Gradienten: Het systeem voert meta-reflexie uit om scorefouten terug te traceren naar structurele oorzaken in de rubriekdefinitie (bijv. dubbelzinnige ankers), dienend als regularisator tegen overfitting.
   • Prioriteit-gesorteerde Updates: Herzieningen volgen een strikte hiërarchie (definities > ankers > randgeval-patches) met compressieregels om onbeperkte groei te voorkomen.
3. Gekaskadeerde Integratie: De uiteindelijke evaluatiefunctie past eerst Rubriek_veiligheid toe (nulstellen van antwoorden met dodelijke kwesties) voordat Rubriek_kwaliteit wordt toegepast.

2.3 Case Generatie

Het systeem genereert een diverse, discriminerende en gekalibreerde case-set met behulp van een Conversation Situation Package (CSP), een gestructureerde sjabloon met 15 velden die variabelen zoals context, gebruikerspersoon, ambiguïteitspatronen en cognitieve valkuilen controleert.

• Multi-Agent Generatie: Vier agenten (Referentie-analysator, Diversiteits-agent, Case Generator, Critic) transformeren CSP's in meer-draads dialogen, waarbij wordt gezorgd voor dekking van alle rubriekdimensies en authentieke interactieritmen.
• Verificatie & Gerichte Her-generatie: De gegenereerde set wordt geëvalueerd tegen vijf harde poorten (Diversiteit, Rangorde-consistentie, Discrimineerbaarheid, Gap tussen aangrenzende niveaus, Moeilijkheidskalibratie). Als poorten falen, past een gerichte her-generatielooptje de moeilijkheidsgraad of structuur van de gevallen aan totdat aan alle criteria is voldaan.

2.4 Rubriek-Geval Co-evolutie

GrowLoop dicht de kloof tussen statische rubrieken en evoluerende modellen via een dual-loop mechanisme:

• Rubriek $\to$ Gevallen: De rubriek drijft de case-generatie aan. Als bepaalde dimensies ondervertegenwoordigd zijn of verzadigd door top-tier modellen, genereert het systeem gerichte gevallen om deze gaten te verkennen.
• Gevallen $\to$ Rubriek: Evaluatieresultaten blootleggen tekortkomingen in de rubriek.
  • Anker-niveau signalen (lage consistentie) triggeren verfijning van bestaande dimensies via Heuristisch Leren.
  • Structurele signalen (niet-toegeschreven faalpatronen) triggeren mens-in-de-lus injectie van nieuwe zaden, wat de reikwijdte van de rubriek uitbreidt om nieuwe faalmodi te dekken.

3. Belangrijkste Bijdragen

1. Unificatie Evaluatieparadigma: GrowLoop is het eerste systeem dat tegelijkertijd bewustzijn van consensus-divergentie, exteriorisatie van taciete kennis en continue zelf-evolutie aanpakt.
2. Heuristisch Leren: Een nieuwe methode voor het exterioriseren van taciete kennis naar expliciete, bewerkbare rubrieken en gevallen vanuit menselijke zaden, waarbij LLM-agenten worden ingezet om criteria iteratief te verfijnen zonder volledige hertraining.
3. Dual-Loop Co-evolutie: Een mechanisme waarbij rubrieken en gevallen elkaars verbetering iteratief drijven, waardoor de benchmark autonoom blinde vlekken kan detecteren en haar reikwijdte kan uitbreiden wanneer evaluatiedoelen verschuiven.
4. Levende Infrastructuur: Het systeem verschuift het benchmarkparadigma van handmatige updates of schaling van moeilijkheidsgraad naar een uitgebreid, continu zelf-evolutieproces.

4. Experimentele Resultaten

Het kader werd gevalideerd op menselijkheidsevaluatie in open-ended conversatie met behulp van een benchmark van 500 gevallen en een modelpool van vier niveaus.

• Rubriek Kwaliteit:
  • Consensus Zone: De geoptimaliseerde rubriek behaalde 86,0% overeenstemming met menselijke oordelen in de consensuszone, wat aanzienlijk beter presteerde dan baselines.
  • Divergentie Zone: Het systeem toonde het vermogen om redelijke oordelen te produceren bij afwezigheid van menselijke consensus en, cruciaal, om schendingen van rollengrenzen (bijv. medisch advies) te identificeren die menselijke annotatoren over het hoofd zagen.
  • Cross-Model Consistentie: De rubriek werd betrouwbaar overgedragen op verschillende judge LLM's (Gemini en Claude), wat haar stabiliteit bevestigt.
• Vergelijking met Baselines:
  • GrowLoop presteerde beter dan negen baselines (inclusief zero-shot judges, handmatige prompts, trainingsvrije methoden en reward models) op Tie-aware Accuracy (0,78), Pair-Accuracy (0,87) en Spearman's $\rho$ (+0,78).
  • In tegenstelling tot reward models leverde GrowLoop interpreteerbare en bewerkbare criteria.
  • In tegenstelling tot statische benchmarks identificeerde het succesvol gevallen waarin baselines faalden door impliciete priors (bijv. het gelijkstellen van woordrijkdom aan kwaliteit).
• Case Kwaliteit:
  • De gegenereerde set van 500 gevallen bestond alle vijf harde poorten, wat hoge diversiteit aantoont (entropie > 0,97), stabiele rangorde-consistentie (Kendall $\bar{\tau} \ge 0,7$) en duidelijke discrimineerbaarheid tussen modelniveaus (Cliff's $\delta \ge 0,32$).
  • De gevallen breidden menselijke zaden uit in diepte en valkuilontwerp, waarbij 100% van de taxonomie van valkuilen werd gedekt in vergelijking met de beperkte dekking van door mensen geschreven sets.
• Evolueerbaarheid:
  • Rubriek Evolutie: Het systeem convergeerde naar rubriekkwaliteit (86,6%) en veiligheid (91,5%) binnen respectievelijk 10 en 6 iteraties, zonder extra menselijke annotatie. Updates generaliseerden naar ongezette gevallen met vergelijkbare structurele patronen.
  • Case Evolutie: De gerichte her-generatielooptje convergeerde autonoom, met metrics die monotoon verbeterden over vijf rondes.

5. Betekenis en Claims

Het artikel positioneert GrowLoop niet louter als een benchmark, maar als een levende evaluatie-infrastructuur. Haar betekenis ligt in:

• Aanpakken van de Taciete Kennis Kloof: Het biedt een mechanisme om menselijke intuïtie te exterioriseren naar expliciete, debugbare criteria, waarmee het probleem "we weten meer dan we kunnen vertellen" in subjectieve evaluatie wordt opgelost.
• Omgaan met Legitieme Meningsverschillen: Door onderscheid te maken tussen consensus en divergentie, vermijdt het de willekeurigheid van het opleggen van een enkele grondwaarheid aan subjectieve taken, terwijl het strenge standaarden handhaaft.
• Continue Aanpassing: Het lost het verouderingsprobleem van statische benchmarks op door de evaluatiecriteria en testgevallen te laten co-evolueren met modelcapaciteiten en verschuivende menselijke verwachtingen.
• Fundament voor Niet-verifieerbare RL: De auteurs suggereren dat GrowLoop de noodzakelijke basis legt voor het toepassen van Reinforcement Learning met Verifieerbare Beloningen (RLVR) op niet-verifieerbare taken zoals conversatie, waarbij de evaluatiecriteria zelf interpreteerbaar en stabiel moeten zijn.

De auteurs concluderen dat hoewel de huidige implementatie tekstgebaseerd is, het kader modality-agnostisch is en een pad biedt naar het evalueren van spraak, visuele en belichaamde interacties naarmate multimodale foundation modellen rijpen. Zij identificeren ook de distillatie van de multi-agent evaluator tot een compact, bewerkbaar Reward Model als een kritieke volgende stap voor schaalbare implementatie.