Technische Samenvatting: VeriTrace: Evoluerende Mentale Modellen voor Diep Onderzoek Agents

Probleemstelling

Diep onderzoek agents staan voor de uitdaging om zich te bewegen in enorme, structureel onderling afhankelijke en doorgaans onzekere informatie-landschappen. Bestaande systemen proberen dit te beheersen door tussentijdse onderzoeksartefacten (bijvoorbeeld outlines, bewijsmateriaalbanken, takenlijsten) te externaliseren om verder te reiken dan het contextvenster van de LLM. Deze systemen vertrouwen echter grotendeels op het impliciete redeneren van de LLM om deze tussentijdse representaties te laten evolueren. De auteurs betogen dat zonder expliciete regulering deze tussentijdse lagen gemakkelijk vervuild raken door informatie van gemengde kwaliteit, waardoor fouten zich voortplanten langs afhankelijkheden. Bijgevolg vervangen huidige systemen vaak modelgrootte voor het ontbreken van regulatiemechanismen, wat leidt tot prestatiedegradatie wanneer backbone-modellen vaststaan of wanneer taken sterk onzeker worden.

Het kernprobleem is het identificeren van welke regulatielussen noodzakelijk zijn om de "mentale model" van een agent (haar tussentijdse representatie van de taak) in staat te stellen zich aan te passen aan rommeligheid, het taakbegrip continu af te stemmen op de realiteit, en op een gezonde manier te evolueren.

Methodologie: Het VeriTrace-kader

De auteurs stellen VeriTrace voor, een cognitief-graafkader dat expliciet drie regulatielussen implementeert om de evolutie van het mentale model van de agent te sturen. Het systeem behandelt de tussentijdse laag niet als statisch geheugen, maar als een dynamische representatie van de leerstatus van de agent, inzichten in bewijsmateriaal en onzekerheden.

1. Cognitieve Graafstructuur

Het mentale model van de agent wordt geïnstancierd als een Cognitieve Graaf $G_t = (S_t, C_t)$:

• Knopen ($N_t$): Representeren concepten die onderzocht worden. Elke knop slaat acceptatiecriteria, geaccumuleerde bevindingen, een cognitieve staat (ONBEKEND, DEELWIJS, BEKEND) en een kwaliteitsprofiel op.
• Randen ($E_t$): Representeren onderzoeksrelaties (strategische vragen) tussen concepten, met zoekgeschiedenis en status (op te lossen, onderzoekend, opgelost, uitgeput).
• Inhoud: Knopen en randen slaan gestructureerde bevindingen, tegenstrijdigheden en kwaliteitsscores op die zijn afgeleid uit een CR-AAP (Currency, Relevance, Authority, Accuracy, Purpose) scoremechanisme.

2. De Drie Regulatielussen

VeriTrace operationaliseert drie specifieke feedbacklussen, waarbij concepten uit de cognitieve wetenschap (metacognitie, voorspellende verwerking en assimilatie/accommodatie) worden gebruikt als ontwerpvocabulaire:

• Interpretieve Update (Assimilatie):

  • Mechanisme: Naarmate nieuwe bevindingen worden geëxtraheerd, worden ze niet passief geaccumuleerd. In plaats daarvan interpreteert de Cognitieve Graafbeheerder ze tegen de huidige graafstatus. Bevindingen worden geclassificeerd als bevestigend, tegenstrijdig, gatvullend of verrassend.
  • Functie: Dit vormt actief wat telt als een bruikbare observatie. Het updatet de residucriteria en de cognitieve staat van de knoop, zodat het systeem precies bijhoudt hoe ver elk concept is opgelost, in plaats van alleen een geheugenopslag te vullen.
  • Implementatie: Gebruik van een gestructureerde update-operator ($\oplus_G$) die bevindingen vouwt in een twee-niveau structuur (item-specifiek en cross-item) en de cognitieve staat $\sigma$ update.

• Afwijkingsfeedback (Voorspellende Verwerking):

  • Mechanisme: Voor een zoektocht verklaart de planner verwachtingen voor een concept. Na een zoektocht wordt het resultaat gescoord tegen deze verwachtingen met behulp van een AfwijkingsSignaal $\delta_t^j$ dat bestaat uit inhoudelijke relevantie, broncredibiliteit, toegankelijkheidsbarrières en de sterkte van onverwachte bevindingen.
  • Functie: Dit signaal routeert de planner naar een van vijf specifieke zoekstrategieën (Exploiteren, Verifiëren, Substitueren, Pivotten, Verkennen) in plaats van een ongedifferentieerde nieuwe poging te triggeren. Het stelt het systeem in staat onderscheid te maken tussen een strategisch falen (verkeerde bron) en een kadersfal (verkeerd concept).
  • Implementatie: Een mapping $\pi: D \to A_{search}$ partitioneert de afwijkingsruimte om de optimale volgende actie te selecteren.

• Schemarevisie (Accommodatie):

  • Mechanisme: Wanneer geaccumuleerde feedback aangeeft dat het huidige kader zelf afwijkt van de realiteit (bijvoorbeeld wanneer tegenstrijdigheden zich ophopen of afwijkingsignalen aanhouden in hetzelfde gebied), stelt de agent een structurele herstructureringsoperatie voor.
  • Functie: Dit herschrijft conceptlabels, relaties en onderzoeksdoelen terwijl bestaand bewijs behouden blijft (Invariant I1). Het stelt de agent in staat te ontsnappen aan een verkeerd initieel kader in plaats daarvan daarin vast te zitten.
  • Implementatie: Vijf structurele operators ($R_{conc}, R_{aug}, R_{pivot}, R_{prune}, R_{correct}$) modificeren de graaftopologie. Bijvoorbeeld, $R_{conc}$ concretiseert een placeholder-knoop tot specifieke entiteiten, en $R_{pivot}$ roteert de afhankelijkheidsas wanneer bewijsmateriaal zich co-lokeert per entiteit in plaats van per dimensie.

3. Systeemdynamiek

Het systeem wisselt af tussen Assimilatie (het dispatchen van zoekopdrachten en updaten van de graaf) en Accommodatie (het voorstellen van structurele herstructureringen). Een schrijfpipeline consumeert de uiteindelijke graaf en bewijsopslag om een rapport te produceren, waarbij citatie-traceerbaarheid wordt gewaarborgd via een drie-laags proces (Outline Planner, Sectieplanner, Sectieschrijver) dat informatie-toegang strikt begrenst.

Belangrijkste Bijdragen

1. Identificatie van Regulatielussen: Het artikel identificeert drie expliciete feedbacklussen (interpretieve update, afwijkingsfeedback, schemarevisie) als centrale mechanismen voor het reguleren van het mentale model van een agent onder onzekerheid.
2. VeriTrace-implementatie: Een cognitief-graafkader dat onderzoek organiseert rond concepten in plaats van sub-taken, en dat de drie lussen expliciet implementeert om bewijsbehoud mogelijk te maken onder structurele revisie.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat expliciete regulatielussen de prestaties van diep onderzoek verbeteren tot een niveau dat niet haalbaar is met modelgrootte alleen.

Resultaten

De auteurs hebben VeriTrace geëvalueerd op DeepResearch Bench (DRB) en DeepConsult.

• Prestatiewinst: Met gebruik van gematchte Qwen3.5-27B backbones, presteerde VeriTrace beter dan de sterkste gematchte baseline (WebWeaver) met 4,22 procentpunten (pp) op de Insight-dimensie en 1,49 pp op de Overall-score van DRB. Op DeepConsult behaalde het een 5,9 pp hogere algehele winratio.
• State-of-the-Art Open Source: Met een Config-DeepSeek-backbone (DeepSeek-V4-Pro) behaalde VeriTrace het sterkste reproduceerbare open-source resultaat op DRB (Overall 55,77, Insight 59,56).
• Ablatiestudies:
  • Het verwijderen van Afwijkingsfeedback (A1) veroorzaakte de grootste enkele daling (−1,65 pp), waarbij het zoekvolume met 31% werd opgeblazen terwijl de succespercentages daalden.
  • Het verwijderen van Schemarevisie (A2) en Interpretieve Update (A3) degradeerde de prestaties aanzienlijk op queries die structurele aanpassing vereisten (−4,75 pp respectievelijk −5,18 pp op de accommodatie-gevoelige subset).
  • De volledige ablatie (Afull) liet de prestaties onder de baseline zakken, wat bevestigt dat de regulatielussen niet louter additief zijn, maar fundamenteel.

Betekenis en Claims

Het artikel betoogt dat de ogenschijnlijk "schaal-hongerige" aard van diep onderzoek gedeeltelijk te wijten is aan ontbrekende regulatielussen, waarbij modelgrootte in de plaats komt van afwezige regulatie. VeriTrace demonstreert dat expliciete regulatie "ruimte" kan creëren langs andere assen dan schaling alleen.

• Voorbij Schaling: Zelfs met kleinere backbones stelt het gereguleerde mentale model van VeriTrace het in staat om baselines te overtreffen die veel grotere, frontier-modellen gebruiken (bijvoorbeeld Claude-Sonnet-4.5) op de Insight-dimensie. Dit suggereert dat de kwaliteit van het redeneerproces (waarover het model redeneert) even cruciaal is als de pure redeneerkracht van het model.
• Operationalisering van Zelfregulatie: Het werk operationaliseert zelfregulatie (metacognitie, voorspellende verwerking) als een uitvoerbaar mechanisme in plaats van een metafoor. Het biedt een ontwerpvocabulaire voor het bouwen van agents die zich kunnen aanpassen aan taken met een lange horizon en onzekerheid, door hun interne taakmodellen continu af te stemmen op de externe realiteit.
• Beperkingen: De auteurs merken op dat de evaluatie momenteel centraal staat rond DeepResearch Bench en DeepConsult, en dat de generaliseerbaarheid naar andere open-omgevingstaken (bijvoorbeeld webnavigatie, wetenschappelijke ontdekking) nog moet worden gevalideerd. Bovendien zijn herstructurerings triggers heuristisch, en bouwt het systeem momenteel de graaf per taak vanaf nul zonder cross-taak transfer.