HSSBench: Benchmarking Humanities and Social Sciences Ability for Multimodal Large Language Models

Die Studie stellt HSSBench vor, ein umfassendes Benchmark mit über 13.000 mehrsprachigen Proben, das die Fähigkeiten multimodaler Sprachmodelle in den Geistes- und Sozialwissenschaften bewertet und dabei eine neuartige, von Experten und KI-Agenten gemeinsam entwickelte Datenpipeline nutzt, um die Lücke in der Bewertung interdisziplinären Denkens zu schließen.

Das Wesentliche

🌍 HSSBench: Der große Test für die „kulturelle Intelligenz" von KI

Stell dir vor, du hast einen extrem klugen Roboter, der wie ein Super-Computer funktioniert. Dieser Roboter kann Mathe-Gleichungen in Sekunden lösen, chemische Formeln auswendig lernen und Programmcode schreiben. Er ist ein Genie für Naturwissenschaften (STEM).

Aber was passiert, wenn du ihn fragst: „Warum tragen diese Leute in diesem alten Bild diese speziellen Masken?" oder „Was sagt diese historische Karte über die Machtverhältnisse aus?"

Hier stolpert der Roboter. Er kann die Zahlen sehen, aber er versteht die Geschichte, Kultur und Gefühle dahinter nicht. Genau hier kommt das neue Projekt HSSBench ins Spiel.

1. Das Problem: Der „Mathe-Brille"-Effekt 🧐

Bisher wurden KI-Modelle hauptsächlich an Aufgaben getestet, die wie ein Labyrinth mit nur einem richtigen Ausgang sind (z. B. Mathe: 2+2 muss immer 4 sein). Das nennt man „vertikales Denken".

Die Geistes- und Sozialwissenschaften (Humanities and Social Sciences – kurz HSS) sind aber anders. Sie sind wie ein großer, offener Park mit vielen Wegen.

• Es gibt oft keine eine richtige Antwort.
• Man muss Bilder, Texte, Geschichte und kulturelle Hintergründe gleichzeitig verstehen.
• Man muss zwischen den Zeilen lesen und Zusammenhänge erkennen, die nicht direkt auf dem Papier stehen.

Die aktuellen KIs sind wie Autos, die nur auf einer geraden Autobahn (Mathe) super schnell fahren, aber in einem verwinkelten, historischen Stadtzentrum (Kultur & Geschichte) ständig die Orientierung verlieren.

2. Die Lösung: HSSBench – Der neue Prüfstand 🏆

Die Forscher haben einen riesigen neuen Test entwickelt, den sie HSSBench nennen. Stell dir das wie einen großen, internationalen Sportwettbewerb vor, aber statt Laufen oder Springen müssen die KIs hier „kulturell denken".

• Die Disziplinen: Der Test deckt sechs große Bereiche ab: Geografie, Kunst, Kultur, Sozialwissenschaften, Geschichte und Wirtschaft.
• Die Sprache: Der Test ist nicht nur auf Englisch. Er ist in sechs Weltsprachen (die offiziellen Sprachen der UNO: Englisch, Chinesisch, Französisch, Russisch, Spanisch, Arabisch) verfügbar. Das ist wichtig, weil Kultur oft stark von der Sprache abhängt.
• Die Größe: Es sind über 13.000 Fragen dabei. Das ist wie ein riesiges Buch voller Rätsel.

3. Wie wurde der Test gemacht? Ein Team aus Menschen und Robotern 🤝🤖

Das ist das Besondere: Sie haben den Test nicht einfach nur von Computern generieren lassen.

• Experten-Team: Echte Wissenschaftler aus verschiedenen Ländern haben die Fragen entworfen. Sie sind wie die Architekten, die das Fundament legen.
• KI-Assistenten: Dann haben Computer (KI-Agenten) geholfen, die Fragen zu vervielfältigen und zu prüfen, ob sie logisch sind. Sie sind wie die Bauarbeiter, die schnell und präzise arbeiten.
• Qualitätskontrolle: Am Ende haben wieder echte Menschen nachgeschaut, um sicherzustellen, dass keine Fragen „falsch" oder kulturell unpassend sind.

4. Das Ergebnis: Die KIs sind noch nicht so schlau wie wir 📉

Als die Forscher die besten KI-Modelle (wie GPT-4 oder Qwen) durch diesen Test geschickt haben, kam ein überraschendes Ergebnis:

• Selbst die klügsten KIs lagen oft unter 60 %.
• Bei offenen Fragen (ohne Multiple-Choice-Antworten) war es noch schlimmer.
• Die KIs konnten die Bilder oft „sehen", aber sie verstanden nicht, was die Bilder bedeuten.

Ein Beispiel aus dem Papier:
Eine KI kann den Begriff „Business Penmanship" (eine alte Handschriftart) im Text erkennen. Aber wenn man ihr ein Bild dieser Handschrift zeigt und fragt: „Was ist das?", erkennt sie die Besonderheiten der Schrift nicht und verknüpft das Bild nicht mit dem Wissen. Sie sieht das Bild, versteht aber nicht die Kultur, die dahintersteckt.

5. Warum ist das wichtig? 🚀

Wenn wir KI nur in Mathe und Naturwissenschaften testen, bauen wir Roboter, die zwar rechnen können, aber keine Ahnung von menschlicher Gesellschaft, Geschichte oder Kunst haben. Das ist wie ein Arzt, der perfekt Anatomie kennt, aber keine Empathie für seine Patienten hat.

HSSBench ist ein Weckruf an die KI-Forscher:

„Wir müssen die KIs nicht nur lehren, wie man rechnet, sondern auch, wie man versteht, wie Menschen denken, fühlen und ihre Welt interpretieren."

Zusammenfassung in einem Satz:

HSSBench ist ein riesiger, mehrsprachiger Intelligenztest, der zeigt, dass unsere heutigen KIs zwar super Mathe-Genies sind, aber noch viel lernen müssen, um die Nuancen von Geschichte, Kunst und menschlicher Kultur wirklich zu verstehen. Es ist der erste Schritt, um KI von einem „Rechen-Maschine" zu einem „Verstehenden-Mitmenschen" zu machen.

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben in den letzten Jahren beeindruckende Fortschritte in Bereichen wie Mathematik, Naturwissenschaften und Programmierung (STEM) gezeigt. Die bestehenden Benchmarks konzentrieren sich jedoch stark auf „vertikales Denken" (vertikale Reasoning), das auf logische Deduktion und experimentelle Analyse abzielt, um eine einzige korrekte Antwort zu finden.

Im Gegensatz dazu erfordern die Geistes- und Sozialwissenschaften (Humanities and Social Sciences, HSS) ein „horizontales Denken". Dies beinhaltet:

• Interdisziplinäres Verknüpfen von Wissen.
• Tiefgehende Integration von Kontextwissen (historisch, kulturell, gesellschaftlich).
• Die Fähigkeit, abstrakte Konzepte mit visuellen Darstellungen zu verknüpfen.

Das Paper identifiziert eine kritische Lücke: Aktuelle MLLMs scheitern oft daran, HSS-Aufgaben zu lösen, da sie Schwierigkeiten haben, die semantische Verbindung zwischen visuellen Eingaben (z. B. historischen Artefakten, Diagrammen, Kunstwerken) und den zugrundeliegenden abstrakten Konzepten herzustellen. Ein Modell mag zwar den Begriff „Business Penmanship" kennen, aber es scheitert daran, diesen Begriff korrekt einem Bild einer Handschrift zuzuordnen.

2. Methodik: HSSBench und die Datenpipeline

Um diese Lücke zu schließen, stellen die Autoren HSSBench vor, einen umfassenden, mehrsprachigen Benchmark für HSS-Aufgaben.

Datensatz-Struktur:

• Umfang: 13.152 sorgfältig kuratierte Multiple-Choice-Fragen.
• Kategorien: Der Benchmark deckt sechs Hauptkategorien ab: Geografie, Kunst, Kultur, Sozialwissenschaften, Geschichte und Wirtschaft.
• Granularität: Diese Kategorien sind in 45 spezifische Subtypen unterteilt (z. B. Mikroökonomie, Europäische Geschichte, Physische Geografie).
• Sprachen: Die Daten sind in den sechs offiziellen Sprachen der Vereinten Nationen (Englisch, Chinesisch, Französisch, Russisch, Spanisch, Arabisch) verfügbar.

Datenkonstruktions-Pipeline (VGP - Visual Question Generation Pipeline):
Die Erstellung des Datensatzes erfolgte durch eine hybride Pipeline, die Expertenwissen und automatisierte Agenten kombiniert:

1. Vorbereitung (Stage I): Experten und ein vernetzter Informations-Aggregation-Agent sammeln Rohdaten (Texte und Bilder) aus vertrauenswürdigen Quellen (Lehrbücher, akademische Repositorien, lizenzierte Bilder).
2. Konstruktion (Stage II):
   • Experten-basiert: Experten überarbeiten existierende Fragen oder erstellen neue, um sicherzustellen, dass die Fragen sowohl visuelles als auch textuelles Verständnis erfordern.
   • Multi-Agent-basiert: Ein Framework aus Agenten (Zusammenfasser, Extraktor, Fragen-Generator, Bild-Matcher) generiert automatisch Fragen aus den gesammelten Texten und Bildern.
3. Validierung (Stage III):
   • Agent-Validierung: Filtert redundante Fragen und stellt sicher, dass eine Frage nicht nur durch Text oder nur durch das Bild allein beantwortet werden kann (Multimodalität ist zwingend erforderlich).
   • Experten-Validierung: Fachexperten prüfen die Daten auf Genauigkeit, Mehrdeutigkeit und Sensibilität (Vermeidung kultureller Bias).

3. Wichtige Beiträge

1. HSSBench: Der erste große, mehrsprachige Benchmark, der speziell auf die komplexen Anforderungen der Geistes- und Sozialwissenschaften in multimodalen Szenarien zugeschnitten ist.
2. Innovative Datenpipeline: Ein skalierbarer Ansatz zur Generierung hochwertiger HSS-Daten durch die Zusammenarbeit von menschlichen Experten und spezialisierten Multi-Agenten-Systemen.
3. Umfassende Evaluation: Eine detaillierte Analyse von über 20 führenden MLLMs (sowohl Open-Source als auch Closed-Source) unter verschiedenen Bedingungen (direkte Antwort vs. Chain-of-Thought, Multiple-Choice vs. Offen, verschiedene Sprachen).

4. Ergebnisse

Die Evaluation auf HSSBench zeigt, dass selbst State-of-the-Art-Modelle vor erheblichen Herausforderungen stehen:

• Gesamtleistung: Die Genauigkeit der meisten Modelle liegt deutlich unter 60 %. Selbst die besten Modelle (z. B. GPT-4.1, Qwen2.5-VL-72B) erreichen im Durchschnitt oft nur Werte um 40–50 %.
• Kategorien-spezifische Unterschiede:
  • Wirtschaft (Economy): Die schwierigste Kategorie für alle Modelle, da sie tiefes theoretisches Verständnis und komplexes Schlussfolgern erfordert.
  • Geografie: Die relativ einfachste Kategorie, da sie oft faktenbasiertes Wissen und weniger abstrakte Interpretation erfordert.
• Prompting-Strategien:
  • Chain-of-Thought (CoT): Überraschenderweise verbessert CoT die Leistung nicht immer. Bei einigen Modellen führt längeres Nachdenken zu mehr Halluzinationen und Fehlern, da visuelle Details falsch interpretiert werden.
  • Multiple-Choice vs. Offen: Die Leistung bricht drastisch ein, wenn keine Antwortoptionen gegeben sind (Open-Ended). Dies deutet darauf hin, dass Modelle oft auf oberflächliche Merkmale angewiesen sind und keine tiefen Schlussfolgerungen ziehen können.
• Spracheffekte: Es gibt signifikante Leistungsunterschiede zwischen den Sprachen. Chinesische Modelle (wie Qwen) schneiden in einigen Kategorien besser ab, was auf einen Vorteil im Trainingsdatenmix hindeuten könnte.
• RAG (Retrieval-Augmented Generation): Die Integration von externen Wissensdatenbanken (Wikipedia) führte nicht zu konsistenten Verbesserungen, was darauf hindeutet, dass allgemeine Suchmechanismen für die nuancierten Anforderungen von HSS-Aufgaben unzureichend sind.

5. Bedeutung und Ausblick

HSSBench legt einen Meilenstein für die Forschung an multimodalen KI-Modellen dar, indem es den Fokus von rein technischen Fähigkeiten auf das Verständnis menschlicher Kultur, Geschichte und Gesellschaft lenkt.

• Identifikation von Schwächen: Der Benchmark macht deutlich, dass aktuelle Modelle zwar gut im logischen Schlussfolgern sind, aber bei der Interpretation kultureller und historischer Kontexte versagen.
• Richtung für zukünftige Forschung: Die Ergebnisse zeigen, dass zukünftige Modelle nicht nur mehr Daten benötigen, sondern Mechanismen zur besseren Integration von visuellen und textuellen Informationen sowie zur Vermeidung von Halluzinationen in komplexen, mehrdeutigen Szenarien entwickeln müssen.
• Multikulturalität: Durch die Abdeckung der UN-Sprachen und die Einbeziehung diverser kultureller Perspektiven fördert HSSBench die Entwicklung von KI-Systemen, die global und inklusiv agieren können.

Zusammenfassend etabliert HSSBench einen neuen Standard für die Bewertung von MLLMs im Bereich der Geistes- und Sozialwissenschaften und dient als Katalysator für die Entwicklung von Modellen, die nicht nur „rechnen", sondern auch „verstehen" und „interpretieren" können.