Technisches Resümee: SciMIF

Problemstellung

Die Anwendung von Multimodalen Großen Sprachmodellen (MLLMs) in wissenschaftlichen Domänen hat sich von grundlegender Beantwortung von Fragen zu komplexen Paradigmen wie autonomen wissenschaftlichen Agenten entwickelt. Aktuelle Evaluierungsmethoden konzentrieren sich jedoch primär auf die wissenschaftliche Korrektheit (ob die endgültige Antwort faktisch korrekt ist) statt auf die Anweisungsbefolgung (ob das Modell explizite operationale Einschränkungen erfüllt).

Bestehende allgemeine Benchmarks zur Befolgung von Anweisungen (z. B. IF-Eval, FollowBench) bewerten Einschränkungen bezüglich Format, Länge und Stil, lassen jedoch domänenspezifische wissenschaftliche Einschränkungen vermissen. Umgekehrt bewerten bestehende wissenschaftliche Benchmarks (z. B. SciBench, MMMU) das logische Denken und Wissen, testen aber nicht systematisch die Fähigkeit eines Modells, komplexen, mehrstufigen operationalen Anweisungen zu folgen. Diese Lücke verschleiert zwei unterschiedliche Fähigkeiten: Ein Modell kann eine wissenschaftlich korrekte Antwort liefern, dabei aber angeforderte Einheiten oder Formate verletzen, oder es kann ein Format strikt einhalten, während es sich auf ungültiges wissenschaftliches Denken stützt. Darüber hinaus ist das Befolgen wissenschaftlicher Anweisungen aufgrund der Abhängigkeit von domänenspezifischem Wissen, interdisziplinärer semantischer Variationen und der häufigen Abhängigkeit von multimodalen Eingaben (z. B. Molekülstrukturen, Mikroskopieaufnahmen) einzigartig anspruchsvoll.

Methodik

1. Taxonomie wissenschaftlicher Einschränkungen

Die Autoren führen SciMIF (Scientific Multimodal Instruction Following) ein, einen Benchmark, der darauf ausgelegt ist, MLLMs über fünf wissenschaftliche Disziplinen hinweg zu evaluieren: Chemie, Geographie, Biologie, Materialwissenschaften und Physik.

Basierend auf einer Analyse von 22 verschiedenen Aufgaben aus diesen Disziplinen konstruierten die Autoren eine hierarchische Taxonomie, die umfasst:

• 10 funktionale Einschränkungsgruppen: Diese erfassen gemeinsame Anforderungen über verschiedene Domänen hinweg, einschließlich Prozedur, Zahl, Methode, Einheit, Format, Terminologie, Präzision, Buchstabe, Struktur und Auswahl.
• Disziplinspezifische Instanziierungen: Während die funktionalen Gruppen gemeinsam sind, variieren ihre konkreten Bedeutungen. Beispielsweise erfordert eine „Terminologie“-Einschränkung eine gültige molekulare Nomenklatur in der Chemie, hierarchische Adressen in der Geographie und Charakterisierungstechniken in den Materialwissenschaften.
• Einschränkungskatalog: Der endgültige Benchmark umfasst 42 verschiedene Einschränkungen, die aus den 10 Gruppen abgeleitet und an die Konventionen der jeweiligen Disziplin angepasst wurden.

2. Datakonstruktions-Pipeline

SciMIF wird durch die systematische Erweiterung von 13 bestehenden wissenschaftlichen Datensätzen (insgesamt 2.527 Stichproben) durch eine vierstufige Pipeline erstellt:

1. Seed-Vorbereitung: Auswahl von Stichproben mit einer Frage ($q$), optionaler visueller Eingabe ($I$), Referenzantwort ($a$) und Aufgabentyp ($t$).
2. Erkennung von Einschränkungen: Identifizierung von Einschränkungen, die bereits implizit in der ursprünglichen Abfrage enthalten sind, um Redundanz zu vermeiden.
3. Injektion von Einschränkungen:
   • Wissenschaftliche Einschränkungen: Injektion domänenspezifischer Einschränkungen, die mit dem Aufgabentyp kompatibel sind.
   • Allgemeine Einschränkungen: Injektion allgemeiner operationaler Einschränkungen (z. B. Ausgabeformat, Groß-/Kleinschreibung), ohne die wissenschaftliche Korrektheit der Referenzantwort zu verändern.
   • Validierung: Eine automatische Doppelprüfung stellt sicher, dass die injizierte Einschränkung in der Abfrage vorhanden ist und die Grundwahrheit der Antwort weiterhin gültig bleibt.
4. Menschliche Verifizierung: Zwei Annotatoren überprüfen die Stichproben auf logische Kohärenz, Flüssigkeit und die Treue zu den Einschränkungen. Problematische Stichproben werden überarbeitet oder verworfen.

3. Evaluierungsmetriken

Der Benchmark verwendet drei Metriken, um die Leistung zu bewerten:

• Constraint Satisfaction Rate (CSR): Der durchschnittliche Anteil der erfüllten Einschränkungen über alle Anweisungen hinweg.
• Instruction Satisfaction Rate (ISR): Der Anteil der Anweisungen, bei denen alle zugehörigen Einschränkungen vollständig erfüllt wurden.
• Decomposed Requirements Following Ratio (DRFR): Misst die Einhaltung auf der Ebene der einzelnen dekomponierten Anforderungen im Verhältnis zur Gesamtzahl der Einschränkungen.

Die Verifizierung erfolgt mittels skriptbasierter Methoden (für deterministische Prüfungen wie Format und Einheiten) und LLM-as-a-Judge-Protokollen (für semantische Prüfungen wie diesschlussfolgernde Schritte).

Kernergebnisse

1. Leistungsunterschiede zwischen den Disziplinen

Die Evaluierung von State-of-the-Art Closed-Source-Modellen (z. B. GPT-5.2, Claude-Sonnet-4.6) und Open-Source-Modellen (z. B. Qwen3.5, InternVL3.5) zeigt signifikante Variationen:

• Chemie stellt die größte Herausforderung dar, wobei das leistungsstärkste Modell (GPT-5.2) eine ISR von nur 46,33 % erreicht.
• Biologie und Materialwissenschaften zeigen eine höhere Leistung (ISR ~72–78 %).
• Geographie stellt ebenfalls erhebliche Schwierigkeiten aufgrund räumlicher Hierarchien dar.
• Physik liefert im Allgemeinen die höchsten DRFR-Werte (Durchschnitt 92,2 %).

2. Modellskalierung und Architektur

• Skalierungsparadoxon: Eine Erhöhung der Modellparameter führt nicht zu linearen Verbesserungen bei der Befolgung von Anweisungen. Beispielsweise schnitt das 122B-Modell der Qwen3.5-Serie mit einer ISR von 50,41 % etwas schlechter ab als das 27B-Modell (51,37 %).
• Closed vs. Open Source: Closed-Source-Modelle übertreffen ihre Open-Source-Gegenstücke in allen Disziplinen konsistent, was auf Vorteile in der Datenqualität und den Alignment-Strategien hindeutet.

3. Analyse der Einschränkungsdomänen

• Allgemeine vs. wissenschaftliche Einschränkungen: Modelle schneiden bei wissenschaftlichen Einschränkungen (semantisch an die Aufgabe gekoppelt) signifikant besser ab als bei allgemeinen Einschränkungen (Format/Struktur). Für GPT-5.2 lag die DRFR bei wissenschaftlichen Einschränkungen bei 88,74 % gegenüber 74,65 % bei allgemeinen Einschränkungen.
• Feingranulare Herausforderungen: Modelle haben die größten Schwierigkeiten mit Buchstaben- und Zahlen-Einschränkungen, die eine präzise symbolische Verarbeitung und domänenspezifische Entitätserkennung erfordern (z. B. das Zählen chemischer Bindungen gegenüber dem Zählen von Zeichen).

4. Korrektheit vs. Adhärenz

Ein kritischer Befund ist die schwache Kopplung zwischen wissenschaftlicher Korrektheit und Anweisungsbefolgung:

• Nur ~30 % der Stichproben erreichten sowohl wissenschaftliche Korrektheit als auch vollständige Anweisungsbefolgung (Korrekt und Befolgt).
• Ungefähr 20 % der Stichproben waren wissenschaftlich korrekt, verstießen aber gegen die Einschränkungen (Korrekt aber Verletzt).
• Über 30 % der Stichproben befolgten die Anweisungen, lieferten aber falsche wissenschaftliche Antworten (Inkorrekt aber Befolgt).
• Eine statistische Analyse (Pearson $\chi^2$-Test) bestätigt, dass Korrektheit und Adhärenz zwar positiv assoziiert sind, die Stärke dieser Assoziation jedoch moderat ist ($\phi$-Koeffizienten zwischen 0,06 und 0,20), was darauf hindeutet, dass es sich um unterschiedliche Fähigkeiten handelt.

Bedeutung und Beiträge

Das Paper beansprucht drei primäre Beiträge:

1. Expertenbasierte Taxonomie: Die Etablierung einer umfassenden Taxonomie wissenschaftlicher Einschränkungen über fünf Disziplinen und zehn funktionale Gruppen hinweg, die sowohl gemeinsame Fähigkeiten als auch domänenspezifische Anforderungen erfasst.
2. Skalierbares Framework: Eine Methodik zur Transformation bestehender wissenschaftlicher Aufgaben in Evaluierungen zur Befolgung von Anweisungen durch Erkennung impliziter Einschränkungen und Injektion kompatibler Einschränkungen, ohne die Referenzantwort zu verändern.
3. Benchmark und Evaluierung: Die Konstruktion von SciMIF und die Evaluierung repräsentativer MLLMs, was Folgendes aufzeigt:
   • Signifikante disziplinspezifische Leistungsunterschiede.
   • Massive Schwierigkeiten mit feingranularen Einschränkungen.
   • Eine klare Lücke zwischen wissenschaftlicher Korrektheit und Anweisungsbefolgung.

Die Autoren kommen zu dem Schluss, dass aktuelle MLLMs noch nicht zuverlässig für rigorose wissenschaftliche Anwendungen sind, die strikte operationale Einschränkungen erfordern. Sie schlagen vor, dass sich die zukünftige Forschung auf domänenspezifisches Instruction-Alignment, die Integration externer Werkzeuge (z. B. symbolische Engines) für feingranulare Einschränkungen und die Optimierung auf die gleichzeitige Erreichung von Korrektheit und Adhärenz statt auf deren isolierte Betrachtung konzentrieren sollte.