SciPostGen: Bridging the Gap between Scientific Papers and Poster Layouts

Probleemstelling

De hoeveelheid wetenschappelijke publicaties groeit exponentieel, wat het voor onderzoekers moeilijk maakt om individuele papers bij te houden. Wetenschappelijke posters zijn een cruciaal medium om onderzoeksresultaten visueel en beknopt te presenteren. Echter, het genereren van een poster vanuit een paper omvat twee complexe uitdagingen:

1. Multimodale samenvatting: Bepalen welke inhoud uit de paper behouden moet worden.
2. Layout-generatie: Bepalen hoe deze inhoud visueel gerangschikt moet worden.

Bestaande methoden vertrouwen vaak op vooraf gedefinieerde templates of regels, en er ontbreekt een groot, gestructureerd dataset om de relatie tussen de structuur van een paper en de uiteindelijke poster-layout te leren. Bestaande datasets bevatten slechts enkele honderden paren, wat onvoldoende is voor datagedreven benaderingen.

Methodologie

De auteurs introduceren een tweeledige aanpak: het creëren van een nieuw dataset en het ontwikkelen van een nieuw framework voor generatie.

1. Het SciPostGen Dataset

Het team heeft SciPostGen ontwikkeld, een grootschalig dataset met 18.097 paren van wetenschappelijke papers en hun bijbehorende posters (verzameld van CVPR, ICLR, ICML en NeurIPS).

• Annotatie: Het dataset bevat gedetailleerde annotaties voor zowel papers (OCR-tekst, bounding boxes voor figuren en tabellen) als posters (layout-elementen zoals titels, secties, tekstblokken, lijsten, tabellen, figuren en bijschriften).
• Proces: De annotatie combineert automatische verwerking (met Nougat en Azure Document Intelligence) met handmatige correctie voor een "Gold"-subset (validatie en test), terwijl de trainingsset "Silver"-annotaties gebruikt.
• Analyse: Statistische analyses tonen aan dat er een significante correlatie bestaat tussen de structuur van een paper (aantal woorden, figuren, tabellen) en het aantal en type layout-elementen in de poster.

2. Framework: Retrieval-Augmented Poster Layout Generation

Om de relatie tussen paper en layout te benutten, stellen de auteurs een framework voor dat bestaat uit twee hoofdcomponenten:

• Layout Retriever: Een model dat getraind is met contrastive learning. Het encodeert een paper (via een Document Image Transformer, DiT) en een poster-layout in een gezamenlijke vectorruimte. Tijdens inferentie zoekt het de top-3 meest vergelijkbare poster-layouts uit de trainingsset die passen bij de invoerpaper.
• Layout Generator: Een Large Language Model (LLM) dat de retrieved layouts en de structuur van de paper (aantal secties, aspect ratios, etc.) als prompt gebruikt om een nieuwe, geoptimaliseerde layout te genereren. De output wordt gegenereerd in HTML-formaat.
• Experimentele Settings:
  • Automatisch: Generatie puur op basis van de paper.
  • Semi-automatisch: De gebruiker specificeert gedeeltelijke layout-constraints (bijv. de twee grootste elementen), en het systeem vult de rest aan.

Belangrijkste Bijdragen

1. SciPostGen Dataset: Een dataset die qua schaal (18k+ paren) en detailniveau alle bestaande datasets voor wetenschappelijke poster-generatie overtreft.
2. Inzicht in Relaties: Empirisch bewijs dat paper-structuren correleren met het aantal en type layout-elementen in posters, wat de haalbaarheid van data-gedreven generatie onderstreept.
3. Retrieval-Augmented Framework: Een nieuwe architectuur die retrieval en generatie combineert. De retriever schat de juiste layout op basis van paper-structuur, en de LLM verfijnt dit om aan specifieke constraints te voldoen.
4. Technische Innovatie: Introductie van een layout-retriever die specifiek is getraind om de impliciete relatie tussen paper-inhoud en visuele layout te modelleren.

Resultaten

De experimenten werden uitgevoerd met GPT-5 en GPT-5-mini als generators.

• Automatische Setting:
  • Het combineren van de retriever met een LLM resulteerde in een betere kwaliteit (hogere mIoU en LTSim scores) vergeleken met willekeurige selectie of alleen retrieval.
  • Het toevoegen van paper-structuur-informatie (aantal figuren, tekstlengte) aan de generator verbeterde de prestaties aanzienlijk bij GPT-5, maar minder bij de kleinere GPT-5-mini, wat suggereert dat krachtigere LLM's beter in staat zijn deze context te integreren.
• Semi-automatische Setting:
  • Het framework slaagde erin om layout-constraints (vastgelegde elementen) te respecteren terwijl het de resterende elementen automatisch genereerde.
  • De retriever kon effectief layouts vinden die zowel overeenkwamen met de paper-structuur als de gegeven constraints.
• Kwalitatieve Analyse:
  • De retrieved layouts toonden een hoge consistentie met "Gold"-layouts qua aantal elementen (tekst, figuren, tabellen).
  • Het framework kon complexe scenario's hanteren, zoals papers met veel figuren (bijv. CVPR) of unieke auteursinformatie, en genereerde daarvoor passende layouts.

Betekenis en Conclusie

Dit werk is van groot belang voor de toekomst van wetenschappelijke communicatie. Door de kloof tussen de groeiende hoeveelheid papers en de behoefte aan effectieve visuele samenvattingen te dichten, biedt SciPostGen een fundament voor:

• Efficiëntie: Onderzoekers kunnen sneller posters genereren voor conferenties.
• Data-gedreven Ontwerp: Het bewijst dat wetenschappelijke layout-keuzen niet willekeurig zijn, maar systematisch gerelateerd aan de inhoud van de paper.
• Toekomstig Onderzoek: Het dataset en framework bieden een nieuwe benchmark voor multimodale documentverwerking en layout-generatie, en openen de weg voor geautomatiseerde tools die wetenschappelijke kennis toegankelijker maken.

De auteurs erkennen wel beperkingen, zoals de focus op computerwetenschappen en landschapsformaten, maar zien dit als een solide startpunt voor bredere toepassing in andere domeinen.