💬 NLP

JAF: Judge Agent Forest

Het artikel introduceert JAF (Judge Agent Forest), een framework dat automatische evaluatie en agent-zelfverfijning verbetert door een judge-agent gezamenlijke inferentie te laten uitvoeren over een cohort van responsen met behulp van een nieuwe locality-sensitive hashing-methode om diverse, relatiebewuste exemplaren te selecteren, waardoor holistisch leren en verbeterde redenering in complexe taken zoals cloud-misconfiguratie triage mogelijk wordt.

Oorspronkelijke auteurs: Sahil Garg, Brad Cheezum, Sridhar Dutta, Vishal Agarwal

Gepubliceerd 2026-02-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sahil Garg, Brad Cheezum, Sridhar Dutta, Vishal Agarwal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Van een Solo-rechter naar een "Bos" van Rechters

Stel je voor dat je een manager bent die moet beslissen welke rapporten van je werknemers goed zijn en welke verbeterd moeten worden.

De Oude Manier (Standaard AI):
De meeste AI-systemen werken momenteel als een solo-rechter. Je overhandigt ze één rapport tegelijk. De rechter leest het, controleert de feiten en geeft een cijfer. Ze weten niet wat de andere werknemers hebben geschreven. Als Werknemer A een kleine fout maakt die lijkt op een typefout, en Werknemer B maakt precies dezelfde fout, dan kan de solo-rechter dit bij beide rapporten missen omdat ze ze in isolatie bekijkt. Ze missen het "grotere plaatje".

De Nieuwe Manier (JAF - Judge Agent Forest):
De auteurs stellen een nieuw systeem voor genaamd JAF. In plaats van één rapport alleen te bekijken, kijkt de rechter naar een kleine groep gerelateerde rapporten tegelijkertijd.

Denk aan een panel van experts of een bos van bomen. Wanneer de rechter een specifiek probleem beoordeelt (zoals een beveiligingskwetsbaarheid in een cloudserver), werpt hij ook een blik op 5 of 10 andere vergelijkbare problemen van hetzelfde bedrijf.

Als de rechter ziet dat drie verschillende servers allemaal dezelfde vreemde beveiligingsinstelling hebben, beseft hij: "Oh, dit is een patroon, geen eenmalige fout."
Als één rapport zegt "Dit is veilig", maar een vergelijkbaar rapport van een buurman zegt "Dit is gevaarlijk", dan ziet de rechter de inconsistentie onmiddellijk.

Door de groep samen te bekijken, wordt de rechter veel slimmer en ziet hij patronen en fouten die een solo-rechter zou missen.

Het Probleem in de Praktijk: Cloud Security Triage

Het paper test dit idee op een zeer moeilijke taak: Cloud Vulnerability Triage (het prioriteren van kwetsbaarheden in de cloud).

Stel je een enorm cloudnetwerk voor met duizenden computers, apps en beveiligingsinstellingen. Elke dag vinden scanners duizenden potentiële problemen (kwetsbaarheden).

De Uitdaging: Een probleem dat op papier gevaarlijk lijkt, kan in de werkelijkheid onschadelijk zijn vanwege de specifieke configuratie van die computer. Omgekeerd kan een "medium" probleem kritiek zijn als het op een server staat die met het internet communiceert.
De Ruis: De data is rommelig. Verschillende bronnen geven verschillende risicoscores voor hetzelfde probleem.
De Noodzaak: Je moet beslissen welke problemen je nu meteen moet oplossen en welke je kunt negeren. Dit één voor één doen is traag en foutgevoelig omdat de AI niet ziet hoe de problemen met elkaar verbonden zijn.

JAF helpt de AI om de verbanden te zien. Het behandelt een groep gerelateerde beveiligingsproblemen als één "cohort" (een logische familie van problemen) in plaats van een willekeurige lijst.

Hoe het werkt: De "Hash Map" Analogie

Om dit efficiënt te laten werken, heeft het systeem een manier nodig om de juiste "buren" te tonen aan de rechter. Je kunt de rechter niet alle andere rapporten laten zien; dat zou te veel informatie zijn.

Het paper introduceert een slim sorteermethode genaamd Locality-Sensitive Hashing (LSH).

De Analogie: De Bibliotheeksorter
Stel je een enorme bibliotheek voor waar boeken niet alleen op titel worden gesorteerd, maar op een complexe code die rekening houdt met de auteur, het genre, de stemming van het verhaal en het type papier gebruikt.

De Code: Het systeem zet elk beveiligingsrapport om in een korte "binaire code" (zoals een streepjescode gemaakt van 0'en en 1'en).
De Bakken: Rapporten met vergelijkbare codes worden in dezelfde "bak" geplaatst.
De Selectie: Wanneer de rechter een rapport moet beoordelen over een "Webserver", pakt het systeem niet zomaar willekeurige rapporten. Het pakt rapporten uit dezelfde "bak" (andere webservers) en misschien ook een paar uit "naburige bakken" (databases die met webservers communiceren).

Dit zorgt ervoor dat de rechter altijd appels met appels vergelijkt, of in ieder geval appels met sinaasappels die in dezelfde boomgaard groeien.

De "Forest" Metafoor:
Het paper noemt het een "Forest" (Bos) omdat:

Elke keer dat de rechter een rapport beoordeelt, ziet hij een iets andere set buren (zoals het bekijken van een boom vanuit een andere hoek).
Door dit proces vele malen te herhalen, bouwt het systeem een "kennisgrafiek" op waarbij informatie tussen gerelateerde kwesties stroomt, net zoals wortels die bomen in een bos verbinden. Als één boom (probleem) iets nieuws leert, verspreidt die kennis zich naar de anderen.

De Resultaten: Slimmer en Sneller

De onderzoekers hebben dit getest op 315 cloud-assets (computers/servers) met diverse beveiligingsmisconfiguraties.

De Solo-rechter (Baseline): Wanneer de AI probeerde de rapporten één voor één te behandelen, was hij vaak onzeker. Het "vertrouwen" in de antwoorden was erg wisselend. Sommige waren zeer zelfverzekerd, andere twijfelachtig. Het kostte vele rondes van controleren om tot een goed antwoord te komen.
De JAF-rechter: Wanneer de AI groepen gerelateerde rapporten samen bekijkte, werd hij veel zelfverzekerder en nauwkeuriger, en dat veel sneller.
- Hij vond inconsistenties die de solo-rechter miste.
- Hij stabiliseerde zijn antwoorden snel (bereikte een hoog vertrouwen in minder stappen).
- Hij identificeerde duidelijk de "moeilijke gevallen" die nog steeds verwarrend waren, en gaf deze door aan menselijke experts voor beoordeling.

Samenvatting

JAF is een framework dat voorkomt dat AI-rechters in silo's werken. In plaats van één zaak tegelijk te beoordelen, beoordeelt het een groep gerelateerde zaken samen.

Oude Manier: "Is dit ene rapport correct?" (Solo-perspectief)
JAF-Manier: "Is dit rapport correct, en komt het overeen met het patroon van deze 10 vergelijkbare rapporten?" (Groepsperpectief)

Door een slim sorteersysteem (Hashing) te gebruiken om de juiste buren te kiezen, stelt JAF de AI in staat om te leren van de collectieve ervaring van de hele groep, wat leidt tot snellere, consistentere en betrouwbaardere beveiligingsbeslissingen.

Technische Samenvatting: Judge Agent Forest (JAF)

1. Probleemstelling

Huidige agentische AI-frameworks vertrouwen op judge agents om outputs te evalueren, guardrails af te dwingen en iteratieve zelfverfijning mogelijk te maken. Echter, standaard implementaties opereren op een instance-lokale wijze: een judge evalueert een enkele query-respons paren $(Q_i, R_i)$ in isolatie, waarbij mogelijk statische in-context voorbeelden worden gebruikt die de specifieke context van de huidige workload niet weerspiegelen.

Deze isolatie faalt in het vastleggen van cross-instance afhankelijkheden en emergente cohort-niveau patronen. In complexe domeinen zoals cloud vulnerability triage hangt het risico van een specifiek probleem vaak af van de relatie met andere problemen binnen dezelfde tenant of account (bijv. gedeelde misconfiguraties, netwerktopologie of terugkerende softwarerollen). Instance-lokale judges kunnen deze regelmatigheden niet systematisch exploiteren, consistentie over vergelijkbare assets niet afdwingen, of inzichten (zoals een ontdekte misconfiguratie) niet propageren van de ene naar de gerelateerde tickets. Bovendien leiden standaard methoden voor het verbeteren van redenering — zoals iteratieve zelfverfijning op een enkele instance of multi-chain-of-thought (CoT) exploratie — vaak tot duplicatie van rekenkosten en falen ze om de diversiteit te benutten die al aanwezig is in de redenering van een workload.

2. Methodologie: Judge Agent Forest (JAF)

JAF introduceert een paradigmaverschuiving waarbij de judge agent gezamenlijke inferentie (joint inference) uitvoert over een cohort van logisch gerelateerde query-respons paren (bijv. alle kwetsbaarheid-asset paren voor een specifieke tenant of tijdsvenster), in plaats van ze in isolatie te evalueren.

Kernmechanisme

Cohort-niveau Redenering: In plaats van een statische context, bevat de prompt van de judge voor een focale instance $(Q_i, R_i)$ een kleine, dynamisch geselecteerde set peer exemplaren $(Q_j, R_j)$ uit hetzelfde cohort.
Knowledge Graph Inductie: Deze overlappende buurten induceren een dynamische, cohort-niveau kennisgrafiek waarbij nodes instances zijn en edges de co-existentie in een judge-prompt vertegenwoordigen. Informatie en kritiek propageren langs deze edges, analoog aan belief propagation of label propagation in grafiek-gebaseerd semi-supervised leren.
Ensemble Gedrag: Door willekeurig verschillende buurten te samplen voor elke judge-invocatie (of over iteratieve verfijningsrondes), creëert JAF een ensemble-effect. Elke instance wordt geëvalueerd onder diverse, lokaal coherente contexten, waardoor het systeem inconsistenties kan detecteren en oordelen kan stabiliseren zonder de onderliggende LLM-architectuur te wijzigen.

Buurtconstructie: Locality-Sensitive Hashing (LSH)

Om efficiënt relevante peers te selecteren uit grote, heterogene cohorten, gebruikt JAF een flexibel Locality-Sensitive Hashing (LSH) framework dat verder gaat dan eenvoudige embedding-gebaseerde k-nearest neighbors (kNN).

Learned Hash Predicates: JAF leert binaire hashcodes door semantische embeddings, categorische labels, domein-metadata en LLM-gedefinieerde predicaten te integreren.
Informatie-theoretische Doelstellingen: De hashfuncties worden geoptimaliseerd om wederzijdse informatie met zij-informatie (labels/metadata) te maximaliseren en redundantie (total correlation) tussen bits te minimaliseren. Dit zorgt ervoor dat codes informatief, ontkoppeld en interpreteerbaar zijn.
Hiërarchische Structuur: Het hashing-schema creëert een multi-schaal partitie van het cohort. Grove buckets vangen brede semantische gelijkenissen op (bijv. asset type), terwijl fijnere splitsingen specifieke takenuanceën vastleggen (bijv. specifieke misconfiguraties).
OOD en Anomalie Detectie: Het framework bevat mechanismen om out-of-distribution (OOD) patronen of zeldzame anomalieën binnen buckets te detecteren, waarbij ze dedicated hashbits toewijzen om ervoor te zorgen dat ze samen nauwgezet worden onderzocht.
LLM-gestuurde Predicaten: LLM's kunnen semantische binaire splits voorstellen (bijv. "extern gericht" versus "alleen intern") of referentiesubsets identificeren voor OOD-detectie, die vervolgens worden gevalideerd via divergentie-gebaseerde clustering.

Integratie met Redeneerstrategieën

Iteratieve Zelfverfijning: JAF breidt zelfverfijning uit naar het cohort-niveau. Terwijl de judge antwoorden bekritiseert en verfijnt, propageren correcties door de kennisgrafiek. Instances die stabiliseren (zich "bevriezen") bieden hoogwaardige exemplaren voor het verfijnen van moeilijkere gevallen.
CoT Exploratie: JAF behandelt redeneerpaden (CoTs) als first-class objecten. Door CoTs te hashen, kan het systeem succesvolle redeneertemplates delen over verschillende instances, waardoor de kosten voor het verkennen van diverse redeneerpaden worden geamortiseerd.
Probabilistische Evaluatie: Door meerdere gerandomiseerde evaluaties uit te voeren op vaste verfijnde responsen, genereert JAF een empirische acceptatiekans ( $\hat{p}_i$ ). Dit dient als een stabiliteitsmetriek, die fragiele beslissingen die gevoelig zijn voor contextvariaties signaleert voor menselijke beoordeling.
RL-gestuurde Exploratie (Toekomst): De hashstructuur biedt een state space voor Reinforcement Learning (RL) om test-time compute adaptief toe te wijzen, waarbij meer middelen worden gericht op minder verkende of historisch foutgevoelige hash-buckets.

3. Belangrijkste Bijdragen

Joint Inference Framework: Stelt JAF voor, een framework dat de judge verheft van een lokale evaluator naar een holistisch lerend systeem door gezamenlijke inferentie mogelijk te maken over gerelateerde query-respons paren.
LSH-gebaseerde Neighborhood Selectie: Ontwikkelt een nieuw, informatie-theoretisch LSH-algoritme dat informatieve, interpreteerbare en relatie-bewuste binaire codes leert om diverse exemplaren te selecteren, waarmee de beperkingen van pure embedding-geometrie worden overwonnen.
Unificatie van Technieken: Demonstreert hoe JAF iteratieve zelfverfijning, multi-CoT exploratie en ensemble learning verenigt in één cohort-bewust mechanisme, waarbij effectief belief propagation en random forest principes worden geïmplementeerd via in-context learning.
Probabilistische Stabiliteitsmetrieken: Introduceert een methode om beslissingsvertrouwen te schatten via gerandomiseerde buurt-sampling, wat een robuust signaal geeft voor het identificeren van instabiele of ambigue gevallen.

4. Experimentele Resultaten

De auteurs valideren JAF op de veeleisende taak van cloud misconfiguration triage, een domein dat synthese vereist van softwarerollen, netwerkblootstelling en IAM-policies.

Setup: Een cohort van 315 assets met misconfiguraties werd verwerkt door een primaire agent (Llama3.3-Nemotron-Super-49B-v1.5). De baseline gebruikte geïsoleerde iteratieve zelfverfijning; JAF gebruikte cohort-bewuste verfijning met eenvoudige, op objecten gebaseerde buurt-sampling (zonder embeddings of LSH in deze initiële studie).
Metrieken: Evaluatie gebruikte een probabilistische judge om de empirische correctheidskans ( $\hat{p}_i$ ) van de uiteindelijke antwoorden te meten onder diverse peer-contexten.
Bevindingen:
- Hogere Accuratesse & Stabiliteit: Na slechts 5 verfijningsiteraties verschoof JAF de distributie van correctheidskansen significant naar hogere waarden (gemiddelde $\hat{p}_i$ nam toe, variantie nam af) vergeleken met de baseline.
- Snellere Convergentie: JAF bereikte kwalitatief hoogwaardige resultaten in 5 iteraties die de baseline zelfs na 10 iteraties niet kon bereiken.
- Robuustheid: JAF-gebaseerde analyses waren minder gevoelig voor de specifieke peers die in de context werden gezien, wat duidt op een meer solide onderliggende redenering.
- Identificatie van Harde Casussen: Beide methoden identificeerden een staart van lage-vertrouwensgevallen, maar JAF verminderde consequent het aantal van dergelijke fragiele instances, waardoor de meest moeilijke issues natuurlijk werden gehighlight voor menselijke beoordeling.

of 5. Betekenis en Claims

Het artikel claimt dat JAF een fundamentele verschuiving vertegenwoordigt in hoe agentische systemen evaluatie en verfijning afhandelen. Door joint inference op de judge-laag te situeren, behoudt JAF de modulariteit van agenten terwijl het informatiestroom tussen inputs wordt bevorderd.

Schaalbaarheid: Het framework is ontworpen om grote, heterogene cohorten te verwerken (honderden of duizenden long-context cases) waar instance-lokale benaderingen falen om afhankelijkheden te vatten.
Algemene Toepasbaarheid: Hoewel gemotiveerd door cloud security, beweren de auteurs dat JAF breed toepasbaar is op elk domein dat coherente, context-bewuste verfijning van grote cohorten modelbeslissingen vereist.
Bescheiden Claims: De auteurs benadrukken dat zelfs een "naïeve" instantie van JAF (zonder geavanceerde LSH of embeddings) substantiële verbeteringen oplevert. Ze positioneren de LSH-machinerie en RL-integratie als toekomstig werk om prestaties verder te optimaliseren, in plaats van als vereisten voor de kernvoordelen van het framework. Het artikel claimt niet om supervised fine-tuning (SFT) te vervangen, maar suggereert dat JAF kan fungeren als een pre-conditioner om hoogwaardigere pseudo-labels voor SFT te produceren.

Samenvattend overbrugt JAF de principes van belief propagation en ensemble learning om een robuuste, context-gevoelige evaluatielaag te creëren die het mogelijk maakt voor agentische systemen om te leren van het collectieve gedrag van een cohort, in plaats van enkel van individuele instances.