FigEx2: Visual-Conditioned Panel Detection and Captioning for Scientific Compound Figures

Die Arbeit stellt FigEx2 vor, ein visuell konditioniertes Framework, das mittels eines rauschangepassten Gating-Moduls und einer gestuften Optimierungsstrategie mit Bestärkendem Lernen automatisch Panels in wissenschaftlichen Compound-Figuren lokalisiert und präzise Bildunterschriften generiert, wodurch es den aktuellen State-of-the-Art-Modellen überlegen ist und eine starke Zero-Shot-Transferfähigkeit in verschiedenen wissenschaftlichen Domänen demonstriert.

Das Wesentliche

Stell dir vor, du hältst eine wissenschaftliche Publikation in den Händen. Auf einer Seite siehst du ein großes, komplexes Bild, das aus vielen kleinen Teilen besteht – wie ein Puzzle oder ein Comic-Strip. Jeder dieser kleinen Teile (die „Panel") zeigt ein anderes Experiment, eine andere Grafik oder einen anderen Befund.

Das Problem ist: Oft gibt es nur eine große, allgemeine Beschreibung für das ganze Bild, oder gar keine Beschreibung. Es ist, als würdest du dir einen ganzen Film ansehen, aber nur den Titel des Films kennen, ohne zu wissen, was in den einzelnen Szenen passiert. Für Wissenschaftler ist das frustrierend, weil sie genau wissen wollen, was in jedem kleinen Kasten steht.

Hier kommt FigEx2 ins Spiel. Es ist wie ein super-intelligenter, digitaler Assistent, der diese wissenschaftlichen Bilder entschlüsselt.

Wie funktioniert FigEx2? (Die Analogie des „Detektivs mit Notizblock")

Stell dir FigEx2 als einen Detektiv vor, der zwei Aufgaben gleichzeitig erledigt:

1. Der Detektiv (Die Suche): Er schaut sich das große Bild an und sagt: „Aha! Hier ist ein kleiner Kasten, der mit 'A' beschriftet ist. Und hier ist einer mit 'B'." Er zeichnet unsichtbare Rahmen um diese Teile.
2. Der Reporter (Das Schreiben): Während er die Kasten findet, schreibt er sofort einen kurzen, genauen Bericht darüber, was in genau diesem Kasten zu sehen ist.

Das Besondere an FigEx2 ist, dass er nicht auf den großen, allgemeinen Titel des Bildes wartet. Er schaut sich nur das Bild selbst an und erfindet die Erklärungen für die kleinen Teile selbstständig.

Die drei genialen Tricks von FigEx2

Damit dieser Assistent nicht verwirrt wird, wenn er gleichzeitig sucht und schreibt, nutzt er drei clevere Tricks:

1. Der „Lärmfilter" (Das Rauschen unterdrücken)
Wenn ein Computer versucht, einen Text zu schreiben, kann er manchmal etwas „quatschig" werden oder sich in Details verlieren. Wenn der Detektiv dann versucht, die Kasten zu finden, könnte dieser Text ihn verwirren.

• Die Lösung: FigEx2 hat einen speziellen Filter (den „Gated Fusion Module"). Stell dir das wie einen Türsteher in einem Club vor. Der Türsteher hört zu, was der Reporter sagt, aber er lässt nur die wichtigen, klaren Informationen durch, die dem Detektiv helfen, die Kasten zu finden. Alles andere, was nur Ablenkung ist, wird draußen gelassen. So bleibt der Detektiv ruhig und findet die Kasten genau, auch wenn der Reporter gerade viel redet.

2. Der „Belohnungstrainer" (Reinforcement Learning)
Normalerweise lernt ein Computer nur durch Nachahmen (Supervised Learning). Aber FigEx2 geht einen Schritt weiter. Es nutzt eine Methode, die man sich wie das Training eines Hundes vorstellen kann:

• Der Computer schreibt einen Text.
• Ein „Richter" (ein anderer KI-Modell) prüft: „Ist das, was du geschrieben hast, auch wirklich das, was auf dem Bild zu sehen ist?"
• Wenn ja, gibt es einen Punkt (Belohnung). Wenn nein, gibt es eine kleine Korrektur.
• Durch dieses ständige Üben mit Belohnungen lernt FigEx2, nicht nur Wörter aneinanderzureihen, sondern wirklich sinnvolle und korrekte Beschreibungen zu finden, die perfekt zu den Bildern passen.

3. Der „Universal-Übersetzer" (Zero-Shot Transfer)
Das Coolste an FigEx2 ist, dass es nicht nur Biologie versteht. Die Forscher haben es anfangs nur mit biologischen Bildern trainiert (wie Zellen und DNA). Aber als sie es dann in die Welt der Physik (z. B. Teilchenbeschleuniger) und Chemie (z. B. Molekülstrukturen) geschickt haben, hat es sofort funktioniert!

• Die Analogie: Stell dir vor, du hast jemanden trainiert, nur Rezepte für Pizza zu lesen. Wenn du ihn dann in ein Restaurant schickst, das Sushi serviert, könnte er denken: „Das ist ja auch Essen!" und trotzdem eine gute Beschreibung liefern. FigEx2 kann das: Es versteht das Prinzip von wissenschaftlichen Bildern so gut, dass es auch in völlig neuen Fachgebieten funktioniert, ohne dass man es neu trainieren muss.

Warum ist das wichtig?

Früher mussten Wissenschaftler oder Studenten sich durch lange Texte wühlen, um zu verstehen, was ein einzelnes Diagramm bedeutet. Mit FigEx2 kann eine KI das Bild scannen und sofort sagen:

• „Hier ist Kasten A: Das zeigt, wie sich Zellen unter Stress verhalten."
• „Hier ist Kasten B: Das ist eine Grafik, die den Temperaturverlauf zeigt."

Es macht die Wissenschaft zugänglicher, schneller und verständlicher – wie ein persönlicher Dolmetscher für die Sprache der Bilder.

Zusammengefasst: FigEx2 ist ein KI-System, das wissenschaftliche Bilder in ihre Einzelteile zerlegt und jedem Teil sofort eine eigene, verständliche Erklärung gibt. Es nutzt Filter, um nicht verwirrt zu werden, Belohnungen, um besser zu lernen, und ist so schlau, dass es auch in neuen Wissenschaftsbereichen sofort mitmacht.

Technische Zusammenfassung

1. Problemstellung

Wissenschaftliche Publikationen verwenden häufig zusammengesetzte Abbildungen (Compound Figures), die mehrere beschriftete Teilpanels (z. B. A, B, C) in einem einzigen Bild vereinen. Jedes Panel stellt oft ein separates Experiment oder eine Analyse dar.

• Herausforderung: In realen Verarbeitungs-Pipelines fehlen die Bildunterschriften oft oder bieten nur eine zusammenfassende Beschreibung des gesamten Bildes auf Figure-Level. Dies macht ein feingranulares Verständnis der einzelnen Panels schwierig.
• Limitierung bestehender Ansätze: Bisherige Methoden stützen sich oft auf eine Text-zu-Bild-Zuordnung, bei der eine detaillierte Bildunterschrift vorausgesetzt wird, um Panels zu lokalisieren. In textarmen Szenarien (fehlende oder nur allgemeine Bildunterschriften) versagen diese textbasierten Zerlegungsansätze, da keine semantischen Hinweise für die Trennung der Panels vorhanden sind.
• Ziel: Ein System zu entwickeln, das ausschließlich auf dem visuellen Input des zusammengesetzten Bildes basiert, die einzelnen Panels lokalisiert und gleichzeitig spezifische Bildunterschriften für jedes Panel generiert, ohne auf eine vollständige Original-Bildunterschrift angewiesen zu sein.

2. Methodik (FigEx2)

FigEx2 ist ein einheitliches Framework, das visuell konditionierte Panel-Erkennung und -Bildunterschriftengenerierung kombiniert. Der Ansatz besteht aus folgenden Kernkomponenten:

• Architektur: Das System nutzt einen zweigigen Ansatz (Vision-Language-Captioning-Branch und Detection-Branch), die über einen gemeinsamen Trigger-Token [DET] verbunden sind.
  • Der Captioning-Branch generiert strukturierte Bildunterschriften für die Panels und endet mit dem Token [DET].
  • Der versteckte Zustand dieses [DET]-Tokens dient als Schnittstelle, um den Detektor-Branch zu aktivieren, der die Bounding Boxes und Labels der Panels vorhersagt.
• Noise-Aware Gated Fusion Module: Um die Instabilität zu bewältigen, die durch die hohe sprachliche Variabilität bei der offenen Bildunterschriftengenerierung entsteht, wird ein gating-Mechanismus eingeführt.
  • Dieser Modul überträgt Token-Level-Features der generierten Bildunterschriften in den Query-Raum des Detektors.
  • Ein Gating-Mechanismus filtert adaptiv „rauschende" Kanäle heraus, um sicherzustellen, dass der Detektor auch bei variabler Textgenerierung robuste Lokalisierungen vornimmt.
• Trainingsstrategie (Staged Optimization): Das Training erfolgt in vier Stufen:
  1. Captioning Pretraining: Nur der Captioning-Branch wird trainiert.
  2. Detection Pretraining: Nur der Detektor wird trainiert.
  3. Joint Supervised Training (SFT): Beide Branches werden gemeinsam optimiert.
  4. Reward-Augmented Training (RL): Hier wird Reinforcement Learning (RL) mit einem Self-Critical Sequence Training (SCST) Ansatz eingesetzt.
     • Belohnungsfunktionen (Rewards): Es werden multimodale Belohnungen genutzt, um die semantische Übereinstimmung zu erzwingen:
       • BERTScore: Für semantische Treue (Text-Text-Übereinstimmung).
       • CLIP-basierte Ausrichtung: Kosinus-Ähnlichkeit zwischen dem generierten Text und dem tatsächlichen Bildausschnitt (Crop) des Panels.
     • Dies stellt sicher, dass die generierten Bildunterschriften nicht nur grammatikalisch korrekt, sondern auch visuell konsistent mit dem lokalisierten Panel sind.

3. Datensätze und Benchmarks

Um die Qualität der Überwachung zu verbessern und die Generalisierungsfähigkeit zu testen, wurden neue Datensätze kuratiert:

• BioSci-Fig-Cap: Ein bereinigter Benchmark für die Biowissenschaften, der auf dem BioSci-Fig-Datensatz basiert. Er filtert fehlgeleitete Labels und stellt sicher, dass die Terminologie wissenschaftlich konsistent ist.
• Cross-Domain Test Suites: Um die Generalisierung über Disziplinen hinweg zu testen, wurden zwei Test-Suiten erstellt:
  • PhysSci-Fig-Cap-Test (Physik)
  • ChemSci-Fig-Cap-Test (Chemie)
    Diese dienen als Out-of-Distribution (OOD) Benchmarks, um zu prüfen, ob das Modell, das auf biomedizinischen Daten trainiert wurde, auch in anderen naturwissenschaftlichen Domänen funktioniert.

4. Ergebnisse

Die experimentellen Ergebnisse zeigen, dass FigEx2 den State-of-the-Art (SoA) in beiden Aufgabenbereichen deutlich übertrifft:

• Panel-Erkennung (Detection):
  • Auf dem BioSci-Fig-Cap-Datensatz erreicht FigEx2 einen mAP@0.5:0.95 von 0,726.
  • Dies ist eine signifikante Steigerung gegenüber dem vorherigen besten Modell (DAB-DETR mit 0,697) und übertrifft große Multimodale Sprachmodelle (MLLMs) wie Qwen3-VL-8B (0,439) erheblich.
• Panel-Bildunterschriften (Captioning):
  • FigEx2 übertrifft Qwen3-VL-8B auf BioSci-Fig-Cap um 0,51 Punkte im METEOR-Score und um 0,24 Punkte im BERTScore.
  • Auch auf dem MedICaT-Datensatz wurden Verbesserungen bei ROUGE-L, METEOR und BERTScore erzielt.
• Zero-Shot Transfer & Few-Shot:
  • FigEx2 zeigt eine bemerkenswerte Zero-Shot-Transferfähigkeit auf die Physik- und Chemie-Datensätze ohne weiteres Fine-Tuning.
  • Im Few-Shot-Setting (1-Shot und 2-Shot) profitiert FigEx2 stärker von zusätzlichen Beispielen als Baseline-Modelle, was auf eine bessere Anpassungsfähigkeit an neue wissenschaftliche Konventionen hindeutet.

5. Hauptbeiträge

1. Neue Formulierung: Umstellung von der „Caption-Decomposition" (Text-zu-Bild) auf eine visuell konditionierte Panel-Captioning, die nur das Bild als Input benötigt.
2. Datenkuratierung: Erstellung von BioSci-Fig-Cap für saubere Überwachung und zwei OOD-Test-Suiten (Physik, Chemie) zur Evaluierung der domänenübergreifenden Generalisierung.
3. Technische Innovation: Entwicklung eines Gated Fusion Modules, das die Stabilität der Detektion trotz variabler Textgenerierung sicherstellt.
4. Optimierungsstrategie: Einführung einer SFT+RL-Pipeline mit multimodalen Belohnungen (CLIP und BERTScore), um die semantische Übereinstimmung zwischen Bild und Text zu erzwingen.

6. Bedeutung und Fazit

FigEx2 adressiert eine kritische Lücke in der wissenschaftlichen Dokumentenverarbeitung: Die Fähigkeit, komplexe, mehrteilige Abbildungen zu zerlegen und zu verstehen, selbst wenn keine vollständigen Bildunterschriften verfügbar sind.

• Praktische Relevanz: Das System ermöglicht die automatische Extraktion von experimentellen Details aus wissenschaftlichen Papern, was für Literaturrecherchen, Wissensgraphen und KI-gestützte Wissenschaftsforschung essenziell ist.
• Robustheit: Die Kombination aus visueller Konditionierung und RL-basiertem Training macht das Modell robust gegenüber Datenverschiebungen (Domain Shift) und textarmen Szenarien.
• Zukunftsausblick: Die Arbeit legt den Grundstein für KI-Systeme, die nicht nur Bilder „sehen", sondern deren strukturelle und semantische Komponenten in wissenschaftlichen Kontexten autonom interpretieren können.

Zusammenfassend stellt FigEx2 einen bedeutenden Fortschritt dar, der die Grenzen zwischen visueller Objekterkennung und generativer Bildunterschriftengenerierung in wissenschaftlichen Domänen überwindet.