🤖 AI

Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

Dit artikel stelt een labelvrij evaluatiekader voor en valideert dit voor agentische continual learning-harnesses in cybersecurity, waarbij wordt aangetoond dat het meten van de convergentie van een studentmodel naar een sterker leermodel via ijle correcties dient als een betrouwbare proxy voor werkelijke prestatieverbetering wanneer gelabelde benchmarks niet beschikbaar zijn.

Oorspronkelijke auteurs: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Gepubliceerd 2026-08-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een slechte e-mail kan herkennen. In de wereld van kunstmatige intelligentie hebben we deze superintelligente "Large Language Models" (LLM's) die kunnen lezen en schrijven als mensen. Maar om ze echt nuttig te maken voor beveiliging, moeten ze van hun fouten leren terwijl ze bezig zijn, een proces dat "Continual Learning" wordt genoemd. Normaal gesproken, om te zien of een robot leert, geven we hem een test met een bekende antwoordenlijst (gelabelde data). Maar in de echte wereld van cybersecurity veranderen de boeven hun trucjes elke dag, en hebben we zelden een perfecte antwoordenlijst. We krijgen alleen feedback wanneer de robot een enorme, overduidelijke fout maakt. Dit laat beveiligingsteams in de knel: ze hebben een robot die moet leren, maar geen manier om te meten of hun nieuwe leertools daadwerkelijk werken of dat ze het alleen maar erger maken. Ze hebben een manier nodig om vooruitgang te meten zonder een referentie sleutel.

Dit artikel pakt exact dat probleem aan. De auteurs stellen een slimme workaround voor met behulp van een "Teacher-Student" opstelling. In plaats van te wachten tot een mens de robot beoordeelt, gebruiken ze een veel groter, slimmer AI-model als "Teacher" (Docent). Ze laten deze Docent het werk van een kleiner "Student"-model beoordelen. Het idee is dat als de Student zich na het gebruik van een nieuwe leertool meer gaat gedragen als de slimme Docent, die tool waarschijnlijk goed is. Het paper suggereert dat deze "Teacher-relative" verbetering een betrouwbaar teken is dat de tool ook goed zou werken met echte menselijke feedback, zelfs wanneer er geen menselijke labels bestaan. Echter, de auteurs geven ook een luid waarschuwing: het gebruiken van een andere AI van dezelfde grootte om het werk te beoordelen is een slecht idee. Deze "same-strength" rechters zijn te bevooroordeeld; ze geven de voorkeur aan hun eigen soort en kunnen niet zien wanneer een student daadwerkelijk is verbeterd.

De Robot School en de Ontbrekende Antwoordenlijst

Laten we de geschiedenis van de "Learning Harness" induiken. Stel je voor dat je een jonge leerling-robot (de Student) hebt die probeert te leren hoe hij post moet sorteren. Hij is best goed, maar niet perfect. Om hem te helpen beter te worden, bevestig je een "Learning Harness". Dit is geen magische hersenupgrade; het is meer als een rugzak vol met plaknotities. Elke keer dat de robot een fout maakt, schrijft een mens (of in dit geval, een slimmere robot) een notitie op een plakblokje waarin wordt uitgelegd waarom het fout was en wat het juiste antwoord is. De robot bekijkt deze notities vervolgens wanneer hij voor een nieuw, vergelijkbaar probleem staat.

Het probleem is dat mensen in de echte wereld druk zijn. Ze schrijven deze notities alleen wanneer de robot een echt grote fout maakt die een crisis veroorzaakt. Dit betekent dat de robot zeer weinig notities krijgt, en die komen op willekeurige momenten. Dus hoe weet je of de rugzak met notities de robot daadwerkelijk helpt om te leren?

Normaal gesproken zou je de robot een test geven met een antwoordenlijst. Maar in cybersecurity bestaat die antwoordenlijst nog niet omdat de dreigingen nieuw zijn. Je kunt niet wachten op een perfecte test; je moet nu weten of het leersysteem werkt.

De Teacher-Student Truc

De auteurs van dit paper bedachten een briljante oplossing: De Scaling Hypothesis. Denk hierbij aan een familie van robots. Je hebt een kleine, junior robot (de Student) en een reusachtige, senior robot (de Teacher) uit dezelfde familie. Omdat de senior robot groter is en meer data heeft gezien, is hij bijna altijd slimmer.

Hier is het experiment dat ze uitvoerden:

Ze namen een reeks e-mails en vroegen de Teacher om deze te sorteren. Omdat de Teacher zo slim is, beschouwden de auteurs de antwoorden van de Teacher als de "waarheid" (ook al hadden ze geen menselijke antwoordenlijst).
Ze gaven de Student dezelfde e-mails.
Ze lieten de Student fouten maken, en gaven hem vervolgens een paar "plaknotities" (correcties) gebaseerd op wat de Teacher juist vond.
Ze keken of de Student beter werd in het matchen van de antwoorden van de Teacher.

De grote vraag was: Betekent het beter worden in het matchen van de Teacher dat de Student daadwerkelijk beter wordt in de echte taak?

Om dit te ontdekken, voerden ze een geheime test uit. Ze hadden een paar e-mails met echte menselijke antwoordenlijsten (de "Gold Standard") die ze verborgen hielden tijdens het leerproces. Ze controleerden of de verbetering van de Student richting de Teacher overeenkwam met zijn verbetering richting de echte menselijke antwoorden.

Het resultaat: Het werkte! Het paper vond een sterke connectie. Wanneer de Student leerde om de Teacher na te bootsen, werd hij ook beter in de echte menselijke test. Dit suggereert dat als je een superintelligente AI gebruikt om je leersysteem te beoordelen, en het systeem verbetert, je er zeker van kunt zijn dat het ook zou verbeteren met echte menselijke feedback. Het is also eigenlijk zeggen: "Als mijn student begint te denken als mijn geniale professor, dan leert hij waarschijnlijk iets waardevols, zelfs als ik het definitieve examen nog niet heb."

De Valstrik van de "Same-Strength" Rechter

Maar er was een wending. De auteurs testten ook een ander idee dat veel mensen gebruiken: LLM-as-a-Judge. Dit is wanneer je een robot van dezelfde grootte en slimheid als de Student vraagt om te beslissen welke versie beter is: degene met de leer-rugzak of degene zonder.

Stel je voor dat je twee 10-jarigen vraagt om te beoordelen wie beter is in wiskunde. Als één van hen een antwoordenlijst heeft, zal de ander het dan opmerken? Het paper vond dat nee, dat zouden ze niet.

Wanneer de auteurs een "same-strength" rechter gebruikten, waren de resultaten een puinhoop:

Bias (Vooringenomenheid): De rechters kozen vaak gewoon het eerste antwoord dat ze zagen, ongeacht of het juist was of niet.
Self-Preference (Zelfvoorkeur): De rechters hadden de neiging om de antwoorden van de robot die op hen leek (degene zonder de rugzak) te verkiezen en de verbeterde versie af te wijzen.
Betrouwbaarheid: Wanneer de rechter het goed had, was dat slechts ongeveer de helft van de tijd (48% voor sommige modellen, wat eigenlijk een muntje opgooien is).

Het paper sluit het gebruik van een AI van dezelfde grootte als rechter voor deze taak expliciet uit. Het suggereert dat een robot niet betrouwbaar kan herkennen wanneer een andere robot van hetzelfde niveau is verbeterd. Het is alsof je een persoon vraagt die het antwoord niet weet om een toets te nakijken; ze kunnen het verschil tussen een goede gok en een geweldige gok simpelweg niet zien.

Wat dit betekent voor de toekomst

De auteurs zijn voorzichtig om niet te zeggen dat dit een wondermiddel is dat alles voor altijd oplost. Ze suggereren dat deze "Teacher-Student" methode een geldige manier is om leertools te meten wanneer je geen labels hebt. Ze toonden aan dat hoe groter het gat in intelligentie tussen de Teacher en de Student is, hoe betrouwbaarder de test wordt. Als de Teacher slechts een klein beetje slimmer is, wordt de test vaag.

Ze wijzen ook op het feit dat dit het beste werkt wanneer de correcties "sparse" (schaars) en "high-precision" (hoogprecies) zijn — wat betekent dat alleen de echt belangrijke fouten worden gecorrigeerd, net zoals in de echte wereld.

De les voor de nieuwsgierige tiener is dus: in een wereld waar we niet altijd een perfecte antwoordenlijst kunnen krijgen, kunnen we een "superintelligente" AI gebruiken om onze leertools te beoordelen. Als de tool helpt om de student meer te laten lijken op de superintelligente AI, dan is het waarschijnlijk een goede tool. Maar vraag een gemiddelde AI niet om de vrienden van zijn eigen niveau te beoordelen; ze zullen gewoon bevooroordeeld zijn en de verbetering missen. Dit geeft beveiligingsteams een nieuwe manier om betere, zelflerende robots te bouwen zonder dat ze een berg menselijke, gelabelde data nodig hebben.

Technische Samenvatting: Het evalueren van de capaciteiten van Agentic Learning Harnesses zonder labels via de Schalingshypothese

1. Probleemstelling

In operationele cybersecurity zijn "continual learning harnesses" (systemen die Large Language Models koppelen aan retrieval of geheugen om via feedback te adapteren) steeds belangrijker voor de verdediging tegen snel veranderende dreigingen. Het evalueren van deze harnesses is echter berucht moeilijk in real-world settings vanwege de schaarste, veroudering en bias van gelabelde benchmarks.

Traditionele evaluatiemethoden schieten in deze context tekort:

Gelabelde Benchmarks: Vaak niet beschikbaar, niet representatief of te ijl om een duidelijk signaal van de effectiviteit van een harness te geven.
LLM-as-a-Judge: Faalt wanneer het beoordelende model (de judge) een vergelijkbare capaciteit heeft als de geëvalueerde agent. Een judge kan verbeteringen die de eigen baseline-prestaties overstijgen, niet betrouwbaar identificeren.
Distillatie: Standaard fine-tuning of adapter-gebaseerde distillatie is onbetrouwbaar wanneer menselijke feedback schaars, sporadisch en onregelmatig gevormd is.

Consequent ontbreekt het praktijkbeoefenaars aan een rigoureuze methode om te bepalen of een specifieke harness de prestaties van een model verbetert, of om verschillende harness-ontwerpen te vergelijken zonder toegang tot een "gold standard" gelabelde dataset.

2. Methodologie

De auteurs stellen een framework voor dat geworteld is in de Schalingshypothese om learning harnesses end-to-end te evalueren zonder gelabelde benchmarks. De kernpremiss is dat een sterker "leraar"-model (teacher) schaarse, hoog-precieze correcties kan bieden aan een zwakker "leerling"-model (student), en dat de convergentie van de leerling naar de leraar dient als een proxy voor werkelijke verbetering.

Experimenteel Ontwerp

De studie maakt gebruik van een setup met drie modellen voor elke taak:

Teacher: Een groter, sterker model uit een specifieke familie (bijv. GPT-4.1, Gemini Pro) dat zonder een harness draait.
Student: Een kleiner, zwakker model uit dezelfde familie (bijv. GPT-4.1 Nano, Gemini Flash) dat zonder een harness draait.
Student (Student met Harness):* Dezelfde student-model uitgerust met een specifieke continual learning harness.

Procedure:

Pseudo-labeling: Het Teacher-model genereert voorspellingen voor een grote pool van ongelabelde samples, waarbij deze worden behandeld als "pseudo-labels".
Sparce Correcties: De dataset wordt opgedeeld in rondes. In elke ronde doet het Student*-model voorspellingen. Een kleine, willekeurige steekproef (maximaal 5) van "high-impact" misclassificaties (waar Student* afwijkt van de Teacher) wordt teruggekoppeld als een correctie. Dit bootst de schaarse, hoog-precieze feedbackloop van menselijke analisten in security operations na.
Evaluatie: Na meerdere rondes wordt de prestatie van de ruwe Student en Student* gemeten op een onafhankelijke testset met behulp van twee metrieken:
- $\Delta_G$ : Verbetering ten opzichte van Gold Labels (gebruikt enkel voor finale validatie).
- $\Delta_T$ : Verbetering ten opzichte van Teacher Pseudo-Labels.

Het framework test of $\Delta_T$ correleert met $\Delta_G$ . Als een harness de alignment van de student met de teacher verbetert, wordt aangenomen dat dit ook de alignment van de student met de grondwaarheid (ground truth) verbetert.

Harness Configuraties

De studie evalueert drie onderscheidende harness-ontwerpen:

Memory: Haalt eerdere fouten op als records (tekstfragment, onjuiste voorspelling, correctie-label), vergelijkbaar met MemPrompt of Reflexion.
Few-shot: Haalt correcties op als gelabelde exemplaren (input $\to$ correct label) voor generalisatie, zonder de fout zelf te tonen.
Lesson: Een aparte instantie van het student-model reflecteert op een fout om een korte, discriminerende "les" te genereren (een vuistregel met "pas alleen toe wanneer"-aanwijzingen). Dit is ontworpen om borderline gevallen te behandelen waarbij de formulering of intentie de correcte label omdraait.

Scope

Experimenten werden uitgevoerd over:

Taken: PhishFuzzer (e-mail classificatie), CTIBench (CVE-naar-CWE attributie), en ATT&CK tactic classificatie.
Modellen: Drie families (Gemini, GPT, Qwen) met kleine/grote varianten.
Condities: Zowel binnen dezelfde familie (Teacher/Student uit dezelfde familie) als cross-family paren, mits de Teacher beter presteert dan de Student op de basis taak.

3. Belangrijkste Resultaten

A. Teacher Alignment correleert met de Grondwaarheid

De primaire bevinding is een sterke positieve correlatie tussen $\Delta_T$ (verbetering ten opzichte van de teacher) en $\Delta_G$ (verbetering ten opzichte van gold labels).

Validiteit: Over security-taken, modelfamilies en harness-ontwerpen heen, harnesses die de alignment van de student met de teacher verbeterden, verbeterden ook de alignment met de gold standard.
Capaciteitskloof: De correlatie houdt stand voor zowel same-family als cross-family paren, mits er een significante capaciteitskloof bestaat. De validiteit van de proxy hangt af van de omvang van het verschil tussen student en teacher, en niet enkel van gedeelde architectuur.
Schalingshypothese: In gevallen van onenigheid tussen de student en de teacher, was het grotere teacher-model aanzienlijk vaker correct dan de kleinere student, wat de aanname valideert dat de teacher dient als een betrouwbare bron van waarheid bij gebrek aan labels.

B. Ineffectiviteit van LLM-as-a-Judge

De studie toont aan dat het gebruiken van een LLM van vergelijkbare sterkte als de agent als judge, geen bruikbaar signaal oplevert:

Self-Preference Bias: Judges op student-niveau geven systematisch de voorkeur aan hun eigen baseline-outputs boven verbeterde outputs van een harness, zelfs wanneer de harness-output correct is.
Lage Betrouwbaarheid: Een judge van vergelijkbare sterkte vertoonde een betrouwbaarheid tegenover de grondwaarheid van ongeveer 48% (nabij toeval) en daalde naar 25% bij het vergelijken van student versus teacher, wat wijst op een systematisch onvermogen om prestaties boven de eigen baseline te herkennen.
Positionele Bias: Judges vertoonden een hoog percentage stemmen-omdraaien op basis van de volgorde van presentatie wanneer zij niet in staat waren kwaliteit te onderscheiden.

4. Betekenis en Claims

Het artikel claimt een praktische oplossing te bieden voor security-operators om continual learning harnesses te evalueren en te vergelijken in operationele omgevingen waar gold labels ontbreken.

Proxy voor Menselijke Feedback: De auteurs stellen dat als een harness een meetbare stijging produceert ten opzichte van een sterker model (Teacher) met behulp van schaarse correcties, het zeer waarschijnlijk vergelijkbare winsten zal opleveren wanneer de correcties afkomstig zijn van menselijke analisten. De harness interacteert enkel met de correcties, niet met de bron (model of mens); hiermee is het mechanisme van verbetering overdraagbaar.
Operationele Bruikbaarheid: Dit framework stelt praktijkbeoefenaars in staat om:
1. Te bepalen of een harness überhaupt helpt.
2. Twee verschillende harness-ontwerpen te vergelijken om de superieure optie te selecteren.
3. De valkuilen van "LLM-as-a-judge" te vermijden wanneer de agent al een frontier model is.
Limieten en Mitigaties: De auteurs erkennen dat de proxy afhankelijk is van een voldoende capaciteitskloof tussen student en teacher. Als de kloof klein is of beide modellen slecht presteren, verzwakt de correlatie. Zij suggereren het gebruik van de schalingshypothese (het vergelijken van groot versus klein model) en het controleren met enkele gelabelde samples om te verzekeren dat de teacher voldoende competent is voordat de proxy wordt ingezet.

Concluderend stelt dit werk vast dat teacher-relative lift een geldige, label-vrije metriek is voor het beoordelen van de waarde van agentic learning harnesses in cybersecurity, wat een rigoureus alternatief biedt voor traditionele benchmarking in dynamische, data-arme omgevingen.