FigEx2: Visual-Conditioned Panel Detection and Captioning for Scientific Compound Figures

Dit paper introduceert FigEx2, een visueel-geconditioneerd raamwerk dat wetenschappelijke samengestelde figuren analyseert door automatisch panelen te lokaliseren en bijbehorende bijschriften te genereren, waarbij gebruik wordt gemaakt van een ruisbestendige fusiemodule en een gefaseerde optimalisatiestrategie om superioriteit te bereiken in detectie en captioning ten opzichte van bestaande modellen.

De kern

Stel je voor dat je een wetenschappelijk artikel leest, maar de plaatjes zijn een enorme "puzzel" van verschillende kleine vakjes die allemaal bij elkaar in één groot plaatje zitten. Dit noemen we samengestelde figuren.

Het probleem? Vaak staat er maar één lange tekst onder het hele plaatje, of soms zelfs helemaal geen tekst. Voor een mens is het al lastig om te raden welk stukje tekst bij welk vakje hoort. Voor een computer is dit een nachtmerrie: de computer ziet een chaos van lijnen en kleuren, maar weet niet waar het ene experiment eindigt en het andere begint, en kan dus ook niet uitleggen wat er in dat vakje gebeurt.

FigEx2 is de slimme oplossing die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Scheermeester" en de "Verteller"

Stel je FigEx2 voor als een team van twee experts die samenwerken:

• De Scheermeester (Detectie): Deze expert kijkt naar het grote, rommelige plaatje en zegt: "Aha! Hier zit een vakje met een 'A', hier een met een 'B'." Hij snijdt het plaatje mentaal in stukjes en trekt een randje om elk vakje.
• De Verteller (Captioning): Deze expert kijkt naar die specifieke stukjes en zegt: "Oh, dit vakje toont een grafiek over cellen," of "Dit laat een chemische reactie zien."

Het oude probleem was dat de Verteller vaak blind was. Hij kreeg alleen de hele puzzel te zien en moest raden wat er in de stukjes zat. FigEx2 koppelt deze twee aan elkaar. Zodra de Scheermeester een stukje vindt, geeft hij direct door aan de Verteller: "Kijk hier, dit is vakje A, vertel eens wat hierin staat."

2. De "Ruis-filter" (Het Gated Fusion Module)

Soms is de taal van de Verteller erg creatief of warrig. Hij gebruikt misschien heel andere woorden dan de Scheermeester verwacht. Dit kan de Scheermeester in de war brengen, waardoor hij de randjes om de vakjes verkeerd trekt.

FigEx2 heeft een slim ruis-filter (een poortwachter). Stel je voor dat de Scheermeester een luie hond is die soms slaapt als er te veel lawaai is. Het ruis-filter zorgt ervoor dat de Verteller alleen de belangrijke signalen doorgeeft aan de Scheermeester en het lawaai (de onnodige woorden) filtert. Zo blijft de Scheermeester scherp en trekt hij altijd de juiste randjes, zelfs als de Verteller een beetje "dichtbij" praat.

3. De "Trainer met Beloningen" (Reinforcement Learning)

Hoe leer je deze computer het beste? Gewoon oefenen is niet genoeg, want hij kan dan mooie zinnen maken die toch niet kloppen met het plaatje.

FigEx2 gebruikt een slimme trainingsmethode die lijkt op het trainen van een hond:

• De CLIP-Check: De trainer kijkt of het plaatje van het vakje echt lijkt op wat er in de tekst staat (zoals een foto en een beschrijving die bij elkaar passen).
• De BERTScore-Check: De trainer kijkt of de tekst logisch en wetenschappelijk correct is.

Als de computer een goede combinatie maakt (juist vakje + juiste tekst), krijgt hij een beloning. Als hij fouten maakt, krijgt hij geen beloning. Na duizenden keren oefenen met deze beloningssysteem, wordt hij een meester in het koppelen van plaatjes aan tekst.

4. De "Superkracht" (Zero-Shot Transfer)

Het mooiste aan FigEx2 is dat het niet alleen goed is in biologie (waar het voor is getraind), maar ook in fysica en chemie.

Stel je voor dat je een kok bent die perfect Italiaans eten maakt. FigEx2 is die kok die, zonder extra lessen te nemen, plotseling ook perfect sushi kan maken als je hem een visje en rijst geeft. Het model heeft zo goed geleerd hoe je plaatjes en tekst koppelt, dat het dit kan toepassen op volledig nieuwe vakgebieden waar het nooit eerder naar heeft gekeken. Dit noemen ze "zero-shot": het kan het direct, zonder extra training.

Samenvatting

Kortom: FigEx2 is een slimme robot die wetenschappelijke plaatjes opent, de losse vakjes eruit haalt, en voor elk vakje een duidelijke uitleg schrijft. Hij gebruikt slimme filters om niet in de war te raken en leert door beloningen om altijd de juiste combinatie van plaatje en tekst te vinden. Hierdoor kunnen onderzoekers (en studenten) veel sneller begrijpen wat die complexe plaatjes eigenlijk vertellen, zelfs als er geen tekst bij staat.

Technische samenvatting

Probleemstelling

Wetenschappelijke literatuur maakt veelvuldig gebruik van samengestelde figuren (compound figures) die meerdere gelabelde panelen in één afbeelding combineren. Elke panel vertegenwoordigt vaak een distinct experiment of analyse. Het huidige probleem in bestaande pipelines is dat:

1. Panel-level begrip ontbreekt: Beschrijvingen (captions) zijn vaak afwezig of beperkt tot een samenvatting van de gehele figuur, waardoor het moeilijk is om individuele panelen te interpreteren.
2. Afhankelijkheid van tekst: Bestaande methoden voor het extraheren van panelen vertrouwen vaak op een "caption separation" taak, waarbij tekst wordt uitgelijnd met visuele boxes. Dit faalt in realistische scenario's (zoals in slides of bijgesneden figuren) waar de volledige figuurtekst ontbreekt of onvoldoende gedetailleerd is.
3. Ruis en variabiliteit: Open-eindige beeldbeschrijvingen leiden tot grote linguïstische variatie, wat de stabiliteit van detectiemodellen kan verstoren.

Methodologie: FigEx2

FigEx2 is een unificerend kader dat visueel-geconditioneerde panel-detectie en -captioning combineert. Het model neemt alleen de samengestelde figuur als input, zonder afhankelijkheid van bestaande figuurteksten.

Kerncomponenten:

1. Unified Framework:

   • Het model bestaat uit twee takken: een captioning-tak (gebaseerd op een Vision-Language Model, specifiek Qwen3-VL-8B) en een detectie-tak (gebaseerd op DAB-DETR).
   • De captioning-tak genereert gestructureerde, label-geordende beschrijvingen voor elke panel en eindigt met een speciaal trigger-token [DET].
   • De verborgen staat van dit [DET]-token dient als interface om de detectie-tak te activeren, die vervolgens de bounding boxes en labels voor de panelen voorspelt in dezelfde forward pass.

2. Noise-Aware Gated Fusion Module:

   • Om de variabiliteit in gegenereerde tekst te managen en de detectie te stabiliseren, wordt een gated fusion module gebruikt.
   • Deze module voert twee cross-attention stappen uit: eerst gestuurd door een detectie-interface token, daarna door de features van de gegenereerde caption-tokens.
   • Een leerbaar gate-mechanisme filtert adaptief ruisachtige kanalen en regelt hoe sterk de caption-features de query-ruimte van de detector beïnvloeden. Dit zorgt voor robuuste lokalisatie zelfs bij hoge variatie in de gegenereerde tekst.

3. Staged Training & Reinforcement Learning (RL):

   • Het trainingsproces verloopt in vier fasen:
     1. Pretraining van de captioning-tak.
     2. Pretraining van de detector.
     3. Gezamenlijke supervisie (Supervised Fine-Tuning - SFT).
     4. Reward-Augmented Training: Hier wordt Self-Critical Sequence Training (SCST) toegepast. In plaats van alleen cross-entropy, worden beloningen (rewards) gebruikt om semantische consistentie te maximaliseren:
        • BERTScore: Voor semantische trouw (faithfulness) van de gegenereerde tekst.
        • CLIP-based Alignment: Voor visueel-tekstuele uitlijning tussen de gegenereerde caption en de werkelijke afbeelding van het panel (gebaseerd op ground-truth crops).

Datasets en Evaluatie

Om hoge kwaliteit supervisie te bieden, hebben de auteurs BioSci-Fig-Cap gecreëerd, een verfijnde benchmark voor panel-level grounding. Daarnaast zijn twee out-of-domain testsets ontwikkeld om cross-disciplinaire generalisatie te testen:

• PhysSci-Fig-Cap-Test (Fysica)
• ChemSci-Fig-Cap-Test (Chemie)

Resultaten

FigEx2 presteert significant beter dan bestaande state-of-the-art modellen (zoals Qwen3-VL-8B en andere fine-tuned VLMs):

• Detectie: FigEx2 bereikt een 0.726 mAP@0.5:0.95 op BioSci-Fig-Cap, wat een verbetering is ten opzichte van DAB-DETR (0.697) en Qwen3-VL-8B (0.439).
• Captioning: Het model overtreft Qwen3-VL-8B met 0.51 punten op METEOR en 0.24 punten op BERTScore op BioSci-Fig-Cap.
• Zero-Shot Generalisatie: FigEx2 toont opmerkelijke zero-shot transferability naar de fysica- en chemie-domeinen zonder extra fine-tuning, waarbij het consistent beter scoort dan pre-trained baselines.
• Few-Shot Learning: Bij het toevoegen van enkele voorbeelden (1-shot of 2-shot) tijdens inferentie, profiteert FigEx2 sterker van deze context dan concurrenten, wat wijst op sterke adaptieve capaciteiten.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Herformulering van panel-extractie van "caption-decompositie" naar "visueel-geconditioneerde panel-captioning", waarbij het model autonoom captions genereert op basis van visuele inhoud.
2. Nieuwe Dataset: Introductie van BioSci-Fig-Cap met schone, panel-level ground truth, en cross-disciplinaire testsets.
3. Technische Innovatie: Ontwikkeling van de noise-aware gated fusion module die detectie stabiliseert onder variabele tekstgeneratie.
4. Optimalisatiestrategie: Een gestructureerde SFT + RL-pipeline die gebruikmaakt van multimodale beloningen (CLIP en BERTScore) om strikte multimodale consistentie af te dwingen.

Significantie

FigEx2 lost een kritiek probleem op in de wetenschappelijke documentverwerking: het ontbreken van gedetailleerde, panel-specifieke metadata. Door onafhankelijk te opereren van vaak ontbrekende figuurteksten, maakt het model het mogelijk om complexe wetenschappelijke figuren automatisch te ontleden en te begrijpen. De succesvolle toepassing op verschillende wetenschappelijke domeinen (biologie, fysica, chemie) en de robuustheid tegen distributieveranderingen maken FigEx2 tot een krachtig hulpmiddel voor het automatiseren van wetenschappelijke kennisextractie en het verbeteren van de toegankelijkheid van complexe data.