Technische Samenvatting: SciFigQual-Bench

Probleemstelling

Bestaande paradigma's voor de beoordeling van beeldkwaliteit (Image Quality Assessment, IQA) zijn voornamelijk ontworpen voor natuurlijke foto's of door AI gegenereerde inhoud, waarbij ze vertrouwen op laag-niveau statistieken of perceptuele metrieken (bijv. PSNR, SSIM, NIQE) die visuele helderheid in isolatie evalueren. Deze methoden slagen er niet in om te voldoen aan de unieke vereisten van wetenschappelijke figuren, die hun evaluatiewaarde ontlenen aan hun integratie met het volledige academische manuscript.

Huidige wetenschappelijke benchmarks voor grafieken en diagrammen worden beperkt door verschillende factoren:

1. Isolatie: Ze evalueren figuren vaak als geïsoleerde uitsneden, losgekoppeld van bijschriften en citerende paragrafen.
2. Oppervlakkige focus: Ze geven prioriteit aan visuele oppervlaktevergelijkingen of visuele vraagbeantwoording (VQA)-nauwkeurigheid in plaats van een holistische kwaliteitsbeoordeling.
3. Ontbrekende context: Ze falen in het verifiëren van de aansluiting van het bijschrift, de relevantie van citaties en het risico op visuele misleiding (bijv. afgekorte assen, ontbrekende baselines) die alleen gedetecteerd kan worden door de figuur te kruisverwijzen met de tekst.

Wetenschappelijke figuurkwaliteit is inherent trimodaal, afhankelijk van de visuele inhoud, het bijschrift en de beweringen in de citerende paragrafen van het manuscript. Bestaande benaderingen met één modaliteit of zwak gekoppelde benaderingen kunnen deze onderlinge afhankelijkheden niet effectief beoordelen.

Methodologie

1. Constructie van de SciFigQual-Bench Dataset

De auteurs stellen SciFigQual-Bench voor, een benchmark die ontworpen is om wetenschappelijke afbeeldingen binnen de volledige context van het manuscript te evalueren.

• Databron: De dataset bestaat uit 7.609 gecureerde figuren geëxtraheerd uit 1.144 gekwalificeerde papers uit top-tier computer science conferenties (ACL, EMNLP, ICML, NeurIPS) gepubliceerd tussen 2020 en 2025.
• Contextbinding: In tegen tegenstelling tot eerdere datasets is elk figuur-instantie strikt gebonden aan de bron-PDF. De pipeline extraheert de figuurafbeelding ($I$), het bijschrift ($c$) en de specifieke citerende paragrafen ($T$) uit de hoofdtekst met behulp van index-gestuurde resolutie (het matchen van figuurindices in de PDF).
• Annotatie: 6.308 instanties werden onafhankelijk gescoord door meerdere domeinexperts op een uniforme 1–10 schaal over vijf orthogonale dimensies:
  1. Visuele Helderheid (VC): Leesbaarheid van tekst, markeringen en codering.
  2. Structuur & Lay-out (SL): Compositie, paneelorganisatie en het vermijden van "chartjunk".
  3. Bijschrift Consistentie (CC): Afstemming tussen het bijschrift en de zichtbare inhoud.
  4. Context Consistentie (CTX): Afstemming tussen de claims in de citerende tekst en wat de figuur ondersteunt.
  5. Misleidingsrisico (MR): De waarschijnlijkheid van misinterpretatie door de lezer (bijv. afgekorte assen).
• Gating-mechanisme: Om te voorkomen dat ontbrekende metadata wordt bestraft, hanteert de benchmark een L1-bewijs gating-strategie. Als een bijschrift of citerende tekst ontbreend is, wordt de overeenkomstige dimensie (CC of CTX) als 'null' gemarkeerd en uit de totale scoreberekening uitgesloten.

2. SFQ-Agent: Gefaseerde Cross-Modale Evaluatie

Om een geautomatiseerde evaluatie mogelijk te maken die de redenering van menselijke experts nabootst, introduceren de auteurs SFQ-Agent, een gefaseerde cross-modale rechter die ontworpen is om controleerbaar en op bewijs gebaseerd te zijn. Het vermijdt de "black box"-aard van monolithische Vision-Language Models (VLMs) door de verzameling van bewijs te scheiden van de fusie.

De agent werkt in vier fasen:

• Stap 0 (Gating): Bepaalt welke dimensies evalueerbaar zijn op basis van de aanwezigheid van $I$, $c$ en $T$.
• Stap 1 (Visueel Bewijs): Een visuele module (gebruikmakend van PaddleOCR-VL en klassieke CV-descriptors) extraheert visuele feiten (tekstregio's, lay-out, as-eenheden) om VC en SL te scoren. Cruciaal is dat de taalmodule in deze fase geen toegang heeft tot pixels.
• Stap 2 (Taalkundig Bewijs): Een LLM analyseert enkel het bijschrift en de citerende tekst (zonder pixelinput) om tekstuele claims en regelovertredingen te extraheren ter ondersteuning van de CC en CTX scoring. Dit voorkomt de generatie van plausibele maar ongetrouwe rationales.
• Stap 3 (Cross-Modale Fusie): Een rechter fuseert het gestructureerde bewijs uit stappen 1 en 2 om CC, CTX en MR te scoren. Er wordt specifiek gezocht naar conflicten (bijv. een figuur die een opwaartse trend laat zien terwijl de tekst degradatie beschrijft).
• Stap 4 (Runner): Een deterministische post-processor legt de VC- en SL-scores vast op basis van de visuele outputs, past regelgebaseerde limieten toe voor MR, en aggregeert de definitieve scores.

De paper evalueert drie protocollen op een vaste testsubset (eval1200):

1. Direct: Een enkele end-to-end VLM prompt.
2. Sidecar: Een enkele prompt aangevuld met OCR/CV side-features.
3. SFQ-Agent: De volledige gefaseerde pipeline zoals beschreven hierboven.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op eval1200 (1.200 gestratificeerde instanties) met 11 state-of-the-art VLM-backends.

• Prestaties: De SFQ-Agent uitgerust met GPT-5.6-Sol behaalde de beste algehele prestaties:
  • Mean Absolute Error (MAE): 0.418 (laagste van alle configuraties).
  • Within-1 Consistentie: 93.4% (hoogste percentage voorspellingen binnen ±1 punt van de menselijke gold labels).
  • Spearman Correlatie: 0.598.
• Protocol Vergelijking:
  • SFQ-Agent presteerde consequent beter dan zowel de Direct als de Sidecar protocollen over alle backends heen.
  • Het Sidecar protocol (het toevoegen van OCR-features aan een enkele prompt) liet bescheiden verbeteringen zien ten opzien van Direct, vooral voor zwakkere encoders, maar slaagde er niet in de gefaseerde fusie van de Agent te evenaren.
  • De resultaten wijzen uit dat de winst wordt gedreven door protocol–bewijs uitlijning (het scheiden van visuele en tekstuele verificatie) in plaats van enkel door de schaal van het model.
• Foutanalyse:
  • Bijschrift Consistentie (CC) en Context Consistentie (CTX) werden geïdentificeerd als de dominante assen van onenigheid tussen mensen en modellen.
  • Monolithische rechters verwarden vaak visuele perceptie met tekstuele verificatie, wat leidde tot gehallucineerde rationales. De gefaseerde aanpak slaagde erin dit te mitigeren door de scheiding van modaliteiten af te dwingen.
  • Qwen-VL-Max vertoonde een aanzienlijke kloof tussen kalibratie (W-1) en ranking (Spearman) in Direct-modus, wat verbeterde met staging maar nog steeds moeite had met bijschriftverificatie.

Betekenis en Claims

Het paper claimt de volgende bijdragen en betekenis:

1. Eerste Full-Manuscript Benchmark: SciFigQual-Bench is de eerste benchmark die wetenschappelijke figuren bindt aan hun bijschriften en citerende paragrafen uit de bron-PDF, waarmee zij verder gaat dan geïsoleerde visuele evaluatie naar bewijs-gebaseerde, volledige-context beoordeling.
2. Controleerbaar Evaluatiekader: Door de SFQ-Agent voor te stellen, demonstreren de auteurs dat gefaseerde, cross-modale evaluatie superieur is aan monolithische VLM-prompting voor wetenschappelijke taken. Het ontwerp zorgt ervoor dat elke score herleidbaar is naar specifiek bewijs (visuele feiten of tekstuele claims), wat het "faithfulness"-probleem in LLM-as-judge paradigma's aanpakt.
3. Diagnostisch Vermogen: De benchmark dient als een stresstest voor trimodale wetenschappelijke geletterdheid. Het onthult dat huidige modellen het meest worstelen met het verifiëren van de consistentie tussen figuren en de narratieve claims in de tekst (CC en CTX), een gat dat bestaande chart QA of text QA benchmarks niet gezamenlijk hebben geadresseerd.
4. Praktisch Nut: Het framework biedt een reproduceerbare testomgeving voor het verheffen van AI-ondersteunde figuurinspectie van eenvoudige visuele QA naar context-bewuste wetenschappelijke redenering, wat cruciaal is voor peer review en kwaliteitscontrole in de wetenschappelijke publicatie.

De auteurs positioneren dit werk niet als een oplossing voor álle wetenschappelijke beeldproblemen, maar als een noodzakelijke stap naar rigoureuze, contextbewuste kwaliteitsbeoordeling die recht doet aan de trimodale aard van wetenschappelijke communicatie.