PosterForest: Hierarchical Multi-Agent Collaboration for Scientific Poster Generation

Probleemstelling

De automatische generatie van wetenschappelijke posters (Scientific Poster Generation - SPG) is een complex probleem dat diepgaand documentbegrip en coherentie tussen inhoud en lay-out vereist. Bestaande methoden, zoals P2P en Paper2Poster, lijden aan drie fundamentele beperkingen:

1. Oppervlakkig documentbegrip: Ze vertrouwen vaak op lineaire tekstextractie en missen de hiërarchische structuur van wetenschappelijke papers (secties, subsecties, cross-referenties). Dit leidt tot onderbroken logische stromen en een zwakke integratie van tekst en visuele elementen (bijv. tabellen die in de verkeerde sectie worden geplaatst).
2. Gedecoupeerde inhoud- en lay-outplanning: Bestaande pipelines behandelen inhoudsamenvatting en lay-outplanning als gescheiden stappen. Omdat de lay-out vaak wordt vastgesteld voordat de inhoud wordt geoptimaliseerd, ontstaat er een gebrek aan synergie. Dit resulteert in posters die te simplistisch zijn, waar belangrijke informatie wordt afgekapt of waar visuele elementen onevenwichtig worden gepositioneerd.
3. Trainingskosten: Veel state-of-the-art methoden vereisen instructie-tuning of regressie-training, wat de toepasbaarheid beperkt en extra rekenkracht vraagt.

Methodologie: PosterForest

PosterForest is een training-vrij framework dat gebruikmaakt van hiërarchische multi-agent samenwerking om posters te genereren. De methode bestaat uit twee hoofdfasen:

1. Hiërarchische Paper-to-Poster Conversie (De Poster Tree)

In plaats van een lineaire aanpak, introduceert PosterForest een gestructureerde tussenrepresentatie genaamd de Poster Tree. Deze tree integreert semantische inhoud en ruimtelijke lay-out:

• Raw Doc Tree ($T_{Raw}$): Een parser-agent ($A_{Parser}$) converteert het originele document naar een boomstructuur die secties, subsecties, alinea's, figuren en tabellen bevat, inclusief hun parent-child relaties.
• Content Tree ($T_{Content}$): Een verfijning-agent ($A_{Refine}$) pruneert onbelangrijke knopen, mergeert redundante content en vat lange teksten samen. Hierbij worden tekst en visuele assets expliciet gekoppeld.
• Layout Tree ($T_{Layout}$): Gebaseerd op de inhoudsboom, wordt een lay-outboom gegenereerd die de canvasruimte hiërarchisch partitioneert in rijen en kolommen.
• Poster Tree ($T_{Poster}$): De definitieve representatie die de Content Tree en Layout Tree samenvoegt. Elke knoop in deze boom encodeert zowel semantische attributen (samenvatting, figuur) als ruimtelijke attributen (positie, grootte).

2. Hiërarchische Modificatieplanning (Multi-Agent Samenwerking)

Na het initialiseren van de Poster Tree wordt deze iteratief verfijnd door een samenwerking tussen gespecialiseerde agents:

• Layout Agent ($A_{Layout}$): Optimaliseert geometrische attributen (verhoudingen, uitlijning) op basis van de structuur van de onderliggende knopen.
• Content Agent ($A_{Content}$): Verfijnt de tekstdichtheid en semantische abstractie, rekening houdend met de lay-out van de ouder-knoop en de context van de onderliggende knopen.
• Iteratief Proces: De agents traverseren de boom (van root naar bladeren) en passen knopen lokaal aan.
• Global Feedback Agent ($A_{Feedback}$): Een multimodaal LLM (bijv. GPT-4o) evalueert de gerenderde poster op visuele organisatie, tekstuele structuur en hiërarchische balans. Op basis van deze feedback wordt beslist of een nieuwe iteratie nodig is ($\pi_{CONTINUE}$). Dit proces loopt maximaal $K$ keer (in de praktijk $K=2$).

Belangrijkste Bijdragen

1. Poster Tree Representatie: Een uniek, hiërarchisch tussenformaat dat logische documentstructuur en visuele lay-out strak koppelt, waardoor semantische coherentie en visuele balans worden gewaarborgd.
2. Training-vrije Multi-Agent Architectuur: Het framework vereist geen extra training of dataset-specifieke tuning. Het vertrouwt uitsluitend op bestaande API's en publieke checkpoints (zoals GPT-4o en Qwen), wat de implementatie versnelt.
3. Gecombineerde Optimalisatie: Door inhoud en lay-out gelijktijdig te optimaliseren via iteratieve feedback, overbrugt PosterForest de kloof tussen tekstuele samenvatting en visuele presentatie, wat resulteert in posters met een betere logische flow.

Resultaten

De auteurs hebben PosterForest geëvalueerd op de Paper2Poster-benchmark (100 paper-poster paren) en via een menselijke studie met 25 AI-graduate studenten.

• Kwalitatieve Evaluatie: PosterForest produceert posters met een betere ruimtelijke verdeling, vermijdt over- of ondermaatse figuren en behoudt kritieke informatie (zoals resultaattabellen) die door concurrenten vaak worden weggelaten.
• Kwantitatieve Evaluatie (MLLM-as-a-Judge): PosterForest scoort vergelijkbaar met state-of-the-art methoden op esthetiek, maar slaat deze significant voor op het gebied van informativiteit (content volledigheid en logische flow). De scores liggen het dichtst bij door mensen gemaakte posters (Ground Truth).
• Menselijke Evaluatie: In een A/B-test prefereerden deelnemers PosterForest in 59,2% van de gevallen boven de beste bestaande methode (Paper2Poster, 27,2%), met name op criteria zoals inhoudstrouw, esthetische kwaliteit en structurele helderheid.
• Ablatie Studies: Experimenten bevestigden dat zowel de hiërarchische boomstructuur als de samenwerking tussen de Content- en Layout-agent essentieel zijn voor de uiteindelijke kwaliteit. Het weglaten van de hiërarchie leidt tot wanordelijke posters.

Betekenis en Impact

PosterForest markeert een belangrijke stap voorwaarts in het automatiseren van wetenschappelijke communicatie. Door de afhankelijkheid van trainingsdata te elimineren en in te zetten op hiërarchisch redeneren, biedt het een schaalbare oplossing die complexe, gestructureerde documenten effectief kan omzetten in visueel overtuigende posters. De methode lost het probleem op van "verlies van context" dat typisch is voor bestaande systemen en maakt wetenschappelijke kennis toegankelijker voor een breder publiek zonder de belasting van handmatig ontwerp voor onderzoekers.