Technische Samenvatting: Aris (Autonoom Onderzoek via Adversarial Multi-Agent Samenwerking)

Probleemstelling

Het paper identificeert een kritieke foutmodus in autonome onderzoeksworkflows met lange horizon: plausibele, niet-ondersteunde successen. Waar single-agent systemen geen zichtbare storingen hoeven te vertonen, lopen ze het risico claims te produceren die verkeerd worden gerapporteerd, geen bewijslast hebben, of stilzwijgend de framing van de uitvoerder overnemen. De auteurs betogen dat het vertrouwen op een enkele agent (of een enkel modelgezin voor zowel uitvoering als zelf-review) gecorreleerde fouten creëert door gedeelde inductieve bias. Bovendien ontbreken in bestaande autonome onderzoekssystemen vaak een persistente staat over sessies heen, modulaire uitvoeringsstadia en expliciete systeemniveaucontroles voor experimentele integriteit.

De centrale hypothese die het werk drijft is: "Elke langetermijntaak uitgevoerd door een enkele agent is onbetrouwbaar." Bijgevolg moet het systeem workflows ontleden in subtaken en cross-family modellen gebruiken om outputs op elke stap onafhankelijk te reviewen.

Methodologie: De Aris Harness

Aris is een open-source onderzoeksharness ontworpen om machine-learning onderzoeksworkflows te coördineren via cross-model adversarial collaboration. Het behandelt assurance als een workflowlaag op zichzelf, in plaats van een post-hoc reviewstap. Het systeem is gebouwd op drie architectuurlagen:

1. Uitvoeringslaag

Deze laag biedt de modulaire bouwstenen voor onderzoek:

• Modulaire Vaardigheden: Meer dan 65 herbruikbare capaciteiten gedefinieerd in platte tekst SKILL.md bestanden (YAML frontmatter + natuurlijke taal specificaties). Deze dekken taken van literatuurstudie (/research-lit) tot experimentuitvoering (/run-experiment).
• Persistente Geheugen (Onderzoekswiki): Een stateful kennisgraf die papers, ideeën, experimenten en claims opslaat over sessies heen. Dit voorkomt dat het systeem mislukte ideeën opnieuw bezoekt of context verliest, en maakt "spiraalvormig leren" mogelijk in plaats van stateless herhaling.
• Artifactcontracten: Vaardigheden wisselen tussenstaten uit via versieerbare tekstbestanden (bijv. IDEA_REPORT.md, EXPERIMENT_LOG.md), wat auditbaarheid en herstel op basis van checkpoints garandeert.

2. Orchestratie-laag

Deze laag beheert vijf end-to-end workflows, waarbij vaardigheden worden gekoppeld via artifactcontracten:

1. Ideeontdekking: Genereert en rangschikt ideeën, met checks op originaliteit.
2. Experiment Bridge: Implementeert code, behandelt auto-debugging en deployt experimenten.
3. Auto Review Loop: Refineert concepten iteratief via kritiek en revisie.
4. Paper Writing: Schrijft manuscripten, genereert figuren en compileert PDF's.
5. Rebuttal: Genereert antwoorden op commentaar van reviewers.

De orchestratie ondersteunt Inspanningsniveaus (lite, balanced, max, beast) om de zoekdiepte en het aantal iteraties te schalen, en Reviewer Routing om taken te dirigeren naar specifieke modelbackends.

3. Assurance-laag

De kerninnovatie is een rigoureuze, meerstaps verificatiepijplijn ontworpen om "plausibele, niet-ondersteunde successen" te voorkomen:

• Cross-Model Adversarial Collaboration: Het systeem kiest standaard voor het koppelen van een Uitvoerder (bijv. Claude/Codex) met een Reviewer uit een ander modelgezin (bijv. GPT/Gemini). De reviewer levert gestructureerde scoring en actieerbare kritiek, waardoor de blinde vlekken van self-review in single-model loops worden doorbroken.
• Evidence-to-Claim Audit Cascade: Een drie-staps proces voor experimentele integriteit:
  1. Experiment-Audit: Controleert op integriteitsfouten (bijv. door het model afgeleide referenties, zelfgenormaliseerde scores, spookresultaten, dead-code inflatie).
  2. Result-to-Claim Mapping: Koppelt experimentele resultaten aan expliciete claims en wijst uitspraken toe van ondersteund, gedeeltelijk ondersteund of geinvalidiseerd.
  3. Paper-Claim Audit: Een frisse, zero-context reviewer cross-checkt kwantitatieve claims in het manuscript tegen de claim-ledger en ruwe bewijsbestanden om mismatches of cherry-picking te detecteren.
• Manuscript Assurance: Omvat een wetenschappelijke editingpijplijn van vijf passes, bewijsverificatie voor theoretische papers, visuele PDF-review (controle op lay-out en figuuruitlijning) en een citatieaudit (verificatie van bestaan, metadata en geschiktheid van context).

Belangrijkste Bijdragen

1. Een Onderzoeksharness Architectuur: Aris introduceert een stateful, modulair systeem dat artifactproductie scheidt van bewijscontrole, en zo de knelpunten van persistente staat, modulaire uitvoering en onafhankelijke assurance aanpakt.
2. Adversarial Multi-Agent Protocol: Het systeem operationaliseert cross-family review als standaardconfiguratie, met gebruik van een "critique-to-action" loop waarbij een verschillend modelgezin de output van de uitvoerder critiqueert, wat gecorreleerde fouten reduceert.
3. Drie-staps Assurance Stack: Het paper beschrijft een specifieke pijplijn voor het verifiëren van experimentele integriteit en claimvaliditeit, gaande van integriteitscontroles op codeniveau tot rapportagefideliteit op manuscriptniveau.
4. Persistente Onderzoekswiki: Een mechanisme voor het behouden van negatieve resultaten en gevalideerde claims over sessies heen, waardoor eenmalige onderzoeksproeven worden getransformeerd in cumulatief, spiraalvormig leren.
5. Open-Source Implementatie: Het systeem omvat meer dan 65 vaardigheden, MCP-bruggen voor meerdere modelproviders (Codex, Claude, GPT, Gemini, enz.) en een standalone CLI (ARIS-Code).

Resultaten en Implementatiebewijs

Het paper presenteert observationele implementatiebewijzen in plaats van gecontroleerde causale benchmarks. Belangrijke observaties zijn:

• Ecosysteemgroei: De vaardigheidsbibliotheek groeide van 21 naar meer dan 65 vaardigheden over domeinen zoals robotica, hardware en wiskundige bewijzen.
• Operationele Dynamiek: Een gedocumenteerde nachtelijke run toonde aan dat het systeem vier review-herschrijfronde voltooide, een interne reviewer-score verhoogde van 5,0 naar 7,5/10, meer dan 20 GPU-experimenten lanceerde en succesvol niet-ondersteunde claims verwijderde.
• Portabiliteit: Het systeem is getest op drie uitvoerplatforms (Claude Code, Codex CLI, Cursor) met aanpassingsgidsen voor drie andere, wat cross-platform portabiliteit aantoont zonder bestandsniveauaanpassingen aan vaardigheden.

De auteurs stellen expliciet dat deze resultaten observationeel zijn en niet causaal kunnen worden toegeschreven aan Aris alleen. Zij erkennen dat de "bandit en speltheoretische framing" die wordt gebruikt om het twee-rollenpatroon te motiveren, een design-analogie is en geen formeel bewijs van superioriteit ten opzichte van review binnen hetzelfde modelgezin.

Betekenis en Claims

Het paper positioneert Aris als een antwoord op de beperkingen van huidige autonome onderzoeksagenten, die vaak vertrouwen op single-model zelfverfijning en gebrek hebben aan rigoureuze integriteitscontroles.

• Verschuiving in Focus: Het betoogt dat de prestaties van LLM-onderzoekssystemen sterk afhankelijk zijn van de "harness" (systeemlogica) en niet alleen van modelgewichten.
• Risicobeperking: Door single-agent langetermijntaken standaard als onbetrouwbaar te behandelen, prioriteert Aris strengheid boven gemak, met als doel het stilzwijgend overnemen van framingfouten te voorkomen.
• Mens-in-de-Loop: Het systeem is ontworpen om uitvoerings- en reviewloops te automatiseren, terwijl het de onderzoeksrichting, bewijsvalidatie en beslissingen over uiteindelijke indiening aan mensen overlaat. Het bevat configureerbare checkpoints die menselijke goedkeuring vereisen.
• Toekomstige Richtingen: De auteurs suggereren dat de ontwikkelde accountability-primitieven (reviewer-onafhankelijkheid, claim-ledgers) kunnen worden aangepast voor andere domeinen, zoals het invoegen van toezichtlagen tussen modeloutputs en downstream trainingsdata om judge-model koppeling en modelcollapse te mitigeren.

Het paper sluit af met een bescheiden toon, waarbij beperkingen worden erkend zoals het ontbreken van gecontroleerde evaluaties, het potentieel voor versterking van reviewerbias, en het onvermogen om correctheid of originaliteit te garanderen. Het benadrukt dat Aris een hulpmiddel is voor het operationaliseren van rigoureuze onderzoeksworkflows, en geen vervanging voor menselijk wetenschappelijk oordeel.