PaperOrchestra: A Multi-Agent Framework for Automated AI Research Paper Writing

Dit paper introduceert PaperOrchestra, een multi-agent framework dat ongestructureerd onderzoeksmateriaal automatisch omzet in volledige AI-wetenschappelijke artikelen, en presteert aanzienlijk beter dan bestaande systemen volgens de nieuwe PaperWritingBench-benchmark.

De kern

Stel je voor dat je een briljant idee hebt voor een nieuwe uitvinding. Je hebt de blauwdrukken, je hebt de resultaten van je tests en je weet precies waarom het belangrijk is. Maar dan kom je op het lastige deel: het schrijven van het officiële verslag dat je naar een grote wetenschappelijke conferentie moet sturen. Dat is vaak een enorme, saaie en moeilijke klus.

Deze paper introduceert PaperOrchestra, een slim systeem dat deze klus voor je overneemt. Het is alsof je een super-orchest dirigent hebt die een heel orkest van digitale muzikanten (AI-agenten) aanstuurt om een perfect symfonie te componeren, in plaats van dat jij elke noet zelf moet spelen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Ruwe Klomp" vs. Het "Gepolijste Juweel"

Vroeger konden AI's alleen helpen met het schrijven van stukjes tekst, of ze waren vastgeplakt aan specifieke experimenten (alsof een kok alleen een taart kan bakken als hij deeg heeft, maar niet als je hem alleen een recept geeft). Ze maakten vaak oppervlakkige samenvattingen of verzonnen feiten.

PaperOrchestra is anders. Het kan een "ruwe klomp" informatie nemen – zoals je losse aantekeningen, een lijstje met testresultaten en een vaag idee – en daar een volledig, professioneel wetenschappelijk artikel van maken, inclusief alle formules, grafieken en verwijzingen naar andere onderzoekers.

2. De Oplossing: Een Orkest van Specialisten

In plaats van één grote AI die alles probeert te doen (wat vaak leidt tot fouten), gebruikt PaperOrchestra een multi-agent systeem. Denk hierbij aan een goed georganiseerd bouwteam of een orkest:

• De Plannemaker (Outline Agent): Deze kijkt naar je ruwe notities en maakt een gedetailleerd bouwplan. Hij zegt: "Hier moeten we een grafiek over doen, hier moeten we verwijzen naar onderzoek uit 2023, en hier is de perfecte plek voor onze nieuwe formule."
• De Kunstenaar (Plotting Agent): Deze maakt de plaatjes. Hij tekent niet alleen grafieken op basis van je cijfers, maar bedenkt ook zelf conceptuele tekeningen (diagrammen) om je idee visueel te maken, net als een illustrator die een boek illustreert.
• De Bibliotheekbeheerder (Literature Review Agent): Dit is misschien wel de slimste. Hij gaat de hele wereld van wetenschap doorzoeken om te kijken wat anderen al hebben gedaan. Hij pakt de juiste boeken uit de kast, leest ze en schrijft een hoofdstuk waarin hij uitlegt hoe jouw idee past in het grotere plaatje. Hij zorgt dat je niet per ongeluk iets claimt dat al bekend is.
• De Schrijver (Section Writing Agent): Deze neemt het bouwplan en de verzamelde informatie en schrijft de daadwerkelijke tekst in de juiste vaktaal (LaTeX), zodat het eruitziet als een echt wetenschappelijk artikel.
• De Criticus (Content Refinement Agent): Nadat het artikel geschreven is, komt deze agent langs. Hij doet alsof hij een strenge beoordelaar is. Hij zegt: "Deze zin is vaag," of "Je hebt hier een betere uitleg nodig." Het artikel wordt dan aangepast totdat het perfect is.

3. De Proef: De "PaperWritingBench"

Om te bewijzen dat dit echt werkt, hebben de makers een speciale test gemaakt, genaamd PaperWritingBench.
Stel je voor dat ze 200 echte, succesvolle wetenschappelijke artikelen hebben genomen en die "teruggefabriceerd" hebben. Ze hebben de eindresultaten weggehaald en alleen de ruwe notities en ideeën overgehouden. Vervolgens gaven ze deze ruwe notities aan verschillende AI-systemen en vroegen: "Schrijf het artikel opnieuw."

Het resultaat?

• De oude systemen (de "solisten") maakten vaak oppervlakkige artikelen met weinig verwijzingen naar andere onderzoekers.
• PaperOrchestra (het "orkest") maakte artikelen die bijna net zo goed waren als die door echte mensen waren geschreven. In vergelijkingen won PaperOrchestra in bijna alle gevallen, vooral omdat het zo'n diepgaand en goed onderbouwd literatuuronderzoek deed.

4. Waarom is dit belangrijk?

Dit is niet bedoeld om wetenschappers te vervangen. Het is meer als een super-assistent.
Stel je voor dat je een onderzoeker bent die de hele dag in het lab werkt en data verzamelt. In plaats van uren te besteden aan het typen van het verslag, de grafieken te maken en de honderden andere artikelen te lezen die je moet citeren, geef je je ruwe notities aan PaperOrchestra. Het systeem doet het zware werk van het structureren, zoeken en schrijven. Jij blijft de "hoofdonderzoeker" die de feiten controleert en de eindverantwoordelijkheid draagt, maar je bespaart enorm veel tijd.

Kortom: PaperOrchestra is de dirigent die ervoor zorgt dat al die losse notities, cijfers en ideeën samenwerken tot een prachtig, professioneel wetenschappelijk verhaal, klaar om de wereld in te gaan.

Technische samenvatting

Probleemstelling

Het synthetiseren van ongestructureerde onderzoeksmaterialen (zoals ruwe ideeën, experimentele logs en conceptuele notities) naar een volledig, indieningsklaar wetenschappelijk manuscript is een cruciale maar onderbelichte uitdaging binnen AI-gestuurde wetenschappelijke ontdekking. Bestaande autonome schrijfsystemen hebben twee belangrijke tekortkomingen:

1. Rigiditeit: Ze zijn vaak strak gekoppeld aan specifieke experimentele loops en kunnen niet functioneren als losstaande schrijftools die door mensen aangeleverde materialen verwerken.
2. Oppervlakkigheid: Ze produceren vaak ondiepe literatuuroverzichten met onvoldoende citaties en missen het vermogen om conceptuele diagrammen te genereren, waardoor ze beperkt blijven tot code-genereren van data-plots.

Daarnaast ontbreekt er een gestandaardiseerde benchmark om de prestaties van geautomatiseerd schrijven objectief te evalueren.

Methodologie: PaperOrchestra

PaperOrchestra is een multi-agent framework dat onbeperkte pre-schrijfmateriaal omzet in een volledig LaTEX-manuscript. Het systeem werkt in vijf stappen, waarbij stap 2 en 3 parallel lopen:

1. Outline Generatie (Outline Agent):

   • Analyseert de input (Idee Samenvatting, Experimentele Log, LaTEX-sjabloon, Conferentierichtlijnen).
   • Genereert een JSON-structuur met een visualisatieplan (soort plots, aspectverhoudingen), een strategie voor literatuuronderzoek (macro- en micro-niveau) en een schrijfplan per sectie met specifieke citatiehints.

2. Plot Generatie (Plotting Agent):

   • Voert het visualisatieplan uit om zowel statistische plots als conceptuele diagrammen te genereren.
   • Gebruikt PaperBanana met een gesloten-lus verfijningssysteem: een Vision-Language Model (VLM) beoordeelt gegenereerde afbeeldingen en past tekstuele beschrijvingen en afbeeldingen iteratief aan om visuele artefacten op te lossen.

3. Literatuuroverzicht (Literature Review Agent):

   • Voert een hybride zoekproces uit: eerst zoekopdrachten via een LLM met webtoegang, gevolgd door verificatie via de Semantic Scholar API.
   • Filtert papers op datum (cutoff) en valideert hun bestaan.
   • Genereert een BibTeX-bestand en schrijft de Introduction en Related Work secties op basis van geverifieerde citaties.

4. Sectie Schrijven (Section Writing Agent):

   • Schrijft de resterende kernsecties (Abstract, Methodologie, Experimenten, Conclusie).
   • Extraheert numerieke waarden uit de experimentele log om tabellen te construeren.
   • Integreert de gegenereerde figuren en volgt het outline en de citatiebank strikt.

5. Iteratieve Verfijning (Content Refinement Agent):

   • Gebruikt gesimuleerde peer-review feedback (via AgentReview) om het manuscript te optimaliseren.
   • Pas wijzigingen toe als de algehele score toeneemt of als er geen verlies is bij gelijke scores. Het systeem keert terug naar de vorige versie bij een daling in kwaliteit.

Belangrijkste Bijdragen

1. PaperOrchestra Framework: Een volledig autonome, losstaande multi-agent pipeline die ongestructureerde input (ideeën en logs) omzet in een LaTEX-manuscript met diepgaande literatuursynthese en gegenereerde visuals.
2. PaperWritingBench: De eerste gestandaardiseerde benchmark voor AI-wetenschappelijk schrijven. Deze bevat 200 "reverse-engineered" ruwe materialen (ideeën en experimentele logs) afgeleid van geaccepteerde papers van topconferenties (CVPR 2025 en ICLR 2025), volledig geanonimiseerd om data-lekkage te voorkomen.
3. Uitgebreide Evaluatie: Een suite van geautomatiseerde evaluatoren (voor citatiekwaliteit, literatuuroverzicht en algehele kwaliteit) en menselijke evaluaties.

Resultaten

PaperOrchestra werd vergeleken met baselines zoals een "Single Agent" en AI Scientist-v2.

• Menselijke Evaluatie (Side-by-Side):

  • In literatuuroverzichtkwaliteit behaalde PaperOrchestra een absolute win-rate marge van 50%–68% ten opzichte van autonome baselines.
  • In de algehele manuscriptkwaliteit was de win-rate marge 14%–38%.
  • Het systeem presteerde sterk dicht bij menselijke grondwaarheid (Human GT), vooral in literatuursynthese.

• Geautomatiseerde Evaluatie:

  • Citations: PaperOrchestra genereerde aanzienlijk meer citaties (45-48) dan baselines (9-14), wat leidde tot een veel hogere Recall voor "good-to-cite" (P1) papers, terwijl de Precision voor "must-cite" (P0) papers hoog bleef. Baselines hadden een schijnbaar hoge F1-score door te weinig citaties te genereren.
  • Acceptatiegraad: In gesimuleerde peer reviews (via ScholarPeer en AI Scientist-v2 Reviewer) behaalde PaperOrchestra acceptatiepercentages van 84% (CVPR) en 81% (ICLR), wat dicht in de buurt komt van menselijke papers (86% en 94%) en aanzienlijk hoger ligt dan andere AI-systemen.
  • Kwaliteit: Het systeem scoorde hoger op cruciale sub-assen zoals helderheid, presentatie en wetenschappelijke soundness.

• Ablatie Studies:

  • Het systeem is robuust: het presteert even goed met "Sparse" (hoge-level) ideeën als met "Dense" (gedetailleerde) ideeën.
  • Het vermogen om visuals autonoom te genereren (PlotOn) presteerde bijna even goed als het gebruik van menselijke grondwaarheid-afbeeldingen (PlotOff).
  • De iteratieve verfijningsstap was essentieel voor het verhogen van de kwaliteit en de gesimuleerde acceptatiekans.

Betekenis en Impact

PaperOrchestra markeert een verschuiving in AI-gestuurde wetenschap van puur experimentele loops naar volledige manuscriptgeneratie. Het lost het probleem op van het vertalen van ruwe data naar een rigoureuze, academische vormgeving zonder menselijke tussenkomst in de schrijfstroom.

• Assistieve Rol: Het systeem positioneert zichzelf als een geavanceerd hulpmiddel om het schrijfproces te versnellen, waarbij menselijke onderzoekers verantwoordelijk blijven voor de feitelijke juistheid en originaliteit.
• Kwaliteitsverbetering: Door gespecialiseerde agents voor literatuur, visualisatie en verfijning te gebruiken, overtreft het systemen die proberen alles in één enkele prompt te doen, wat vaak leidt tot hallucinaties en oppervlakkige analyses.
• Toekomstperspectief: Het werk legt de basis voor interactieve, mens-in-de-lus (HITL) systemen waar onderzoekers drafts kunnen sturen via natuurlijke taal, en benadrukt de noodzaak van gestandaardiseerde benchmarks voor toekomstige ontwikkelingen in dit domein.