HSSBench: Benchmarking Humanities and Social Sciences Ability for Multimodal Large Language Models

Deze paper introduceert HSSBench, een nieuw meerlingual benchmark met meer dan 13.000 samples en een innovatieve data-generatiepijplijn om de prestaties van multimodale grote taalmodellen te evalueren op complexe taken uit de geestes- en maatschappijwetenschappen, waarbij wordt aangetoond dat zelfs de meest geavanceerde modellen hier nog grote moeite mee hebben.

De kern

🌍 HSSBench: De "Menselijke Wijsheid"-Test voor AI

Stel je voor dat je een super slimme robot bouwt die alles kan zien en lezen. Tot nu toe hebben we deze robots vooral getest op hun vermogen om wiskundepuzzels op te lossen, chemische formules te ontcijferen of code te schrijven. Dit noemen we STEM (Wiskunde, Techniek, Wetenschap, Wiskunde). Het is alsof we de robot alleen laten zien hoe goed hij een ladder kan beklimmen: stap voor stap, logisch, met één duidelijk doel.

Maar wat gebeurt er als we de robot vragen om een schilderij te begrijpen, een historisch verhaal te analyseren, of te snappen waarom mensen in een economische crisis bepaalde keuzes maken? Dit is het domein van de Geestes- en Maatschappijwetenschappen (HSS). Hier is het antwoord niet altijd een getal of een formule. Het gaat om nuance, cultuur, geschiedenis en het verbinden van losse puzzelstukjes.

De auteurs van dit paper zeggen: "Onze robots zijn geweldig in het beklimmen van ladders, maar ze struikelen over de brug naar de menselijke wereld."

Om dit probleem op te lossen, hebben ze HSSBench bedacht.

🛠️ Wat is HSSBench precies?

HSSBench is een enorme testbank (een benchmark) met meer dan 13.000 vragen. Het is geen gewone quiz; het is een uitgebreide examenreeks die de robot moet maken.

• De 6 Wereldwijken: De test bestaat uit zes grote categorieën:
  1. Geografie: Kaarten lezen en landschappen begrijpen.
  2. Kunst: Schilderijen en beelden analyseren.
  3. Cultuur: Gewoontes, kleding en tradities begrijpen.
  4. Sociale Wetenschappen: Psychologie, recht en sociologie.
  5. Geschiedenis: Verleden begrijpen en verbinden met het heden.
  6. Economie: Grafieken en markten analyseren.
• Talen: De test is gemaakt in 6 talen (de officiële talen van de VN: Engels, Frans, Spaans, Russisch, Chinees en Arabisch). Het is alsof je de robot in zes verschillende culturen laat opgroeien om te zien of hij echt begrijpt wat er gebeurt, of dat hij alleen woorden uit zijn hoofd leert.

🏗️ Hoe hebben ze deze test gemaakt? (De "Bouwploeg")

Het maken van deze test was geen klus voor één persoon. Het was een samenwerking tussen mensen en robots.

1. De Experts (De Bouwmeesters): Echte specialisten (historici, economen, kunstcritici) hebben de basis gelegd. Zij hebben foto's en teksten geselecteerd en vragen bedacht.
2. De AI-Agenten (De Hulpkrachten): Vervolgens hebben slimme computerprogramma's (AI) geholpen om duizenden nieuwe vragen te genereren op basis van wat de experts hadden gedaan.
3. De Kwaliteitscontrole (De Keurmeesters): Alles is dubbel gecheckt. Als een vraag te makkelijk was, of als de robot het antwoord kon raden zonder naar de foto te kijken, werd de vraag weggegooid. Het doel was: de robot moet kijken én denken.

Je kunt het vergelijken met het maken van een groot museum: eerst bouwen de experts de zalen, dan vullen robots de muren met kunst, en tot slot lopen keurmeesters rond om te controleren of alles klopt.

🤖 Wat zeggen de resultaten? (De "Zwemwedstrijd")

Toen ze de beste robots van vandaag de dag (zoals GPT-4 en Qwen) deze test lieten doen, was het resultaat... niet geweldig.

• De Score: Zelfs de slimste robots haalden vaak niet meer dan 60% goed. Soms zelfs veel lager.
• De Vergelijking:
  • In Wiskunde (STEM) zwemmen de robots als haaien.
  • In Geografie doen ze het redelijk goed (kaarten zijn vaak logisch).
  • In Economie en Cultuur verdrinken ze bijna. Ze begrijpen de context niet.

Een leuk voorbeeld uit het paper:
Stel je ziet een oude foto van een handgeschreven brief. Een mens ziet direct: "Ah, dit is Spencerian Script, een oude stijl van schrijven."
De robot kijkt naar de foto, ziet de letters, en denkt: "Dit is gewoon tekst." Als je hem vraagt: "Wat voor schrift is dit?", raakt hij in de war. Hij kan de tekst wel lezen, maar hij begrijpt niet wat het schrift betekent in de geschiedenis. Het is alsof hij de woorden kent, maar de ziel van de taal mist.

🚧 Waarom is dit belangrijk?

De auteurs zeggen: "Een robot die alleen goed is in wiskunde, maar niet begrijpt wat rechtvaardigheid, cultuur of geschiedenis is, is geen echte intelligente assistent."

Als we AI willen gebruiken in de echte wereld (bijvoorbeeld in het onderwijs, in het rechtssysteem of in de musea), moeten we ze leren om horizontaal te denken.

• Verticaal denken (STEM): Stap 1, Stap 2, Stap 3 -> Antwoord.
• Horizontaal denken (HSS): Verbind dit schilderij met die geschiedenis, en dat met die economische situatie -> Nuance en inzicht.

🎯 Conclusie

HSSBench is een noodkreet en een uitnodiging tegelijk.

• Noodkreet: "Onze huidige robots zijn te eenzijdig. Ze zijn briljante rekenmachines, maar slechte menselijke gesprekpartners."
• Uitnodiging: "Laten we samenwerken om AI te leren begrijpen wat het betekent om mens te zijn, met al onze cultuur, geschiedenis en complexe gevoelens."

Het paper is als een spiegel die we voor de AI houden. In de spiegel zien we dat de robot nog veel moet leren voordat hij echt "slim" is in de menselijke wereld.

Technische samenvatting

Titel: HSSBench: Benchmarken van de vaardigheden van Multimodale Grootte Taalmodellen (MLLM's) op het gebied van Geestes- en Maatschappijwetenschappen

1. Het Probleem

Hoewel Multimodale Grootte Taalmodellen (MLLM's) indrukwekkende prestaties laten zien in STEM-domeinen (Wetenschap, Technologie, Ingenieurskunst en Wiskunde), worden ze vaak geëvalueerd op basis van benchmarks die zich richten op "verticaal redeneren": een lineair, logisch proces dat leidt tot één juist antwoord.

Het paper identificeert een kritieke lacune: het gebrek aan benchmarks voor Geestes- en Maatschappijwetenschappen (HSS - Humanities and Social Sciences). HSS-taken vereisen "horizontaal redeneren", wat betekent:

• Het verbinden van contexten over verschillende disciplines heen.
• Het integreren van abstracte concepten met visuele representaties.
• Het interpreteren van symbolen die diep geworteld zijn in culturele en historische contexten.
• Het genereren van meerdere geldige interpretaties in plaats van één vast antwoord.

Huidige modellen worstelen met cross-modale kennisoverdracht. Ze kunnen abstracte concepten herkennen in tekst, maar falen vaak wanneer ze deze concepten moeten koppelen aan visuele input (bijvoorbeeld: een lettertype herkennen op basis van een afbeelding en de bijbehorende historische context begrijpen). Bestaande benchmarks missen de diepgang en de multidisciplinaire complexiteit die nodig is om deze vaardigheden te testen.

2. Methodologie

A. HSSBench Dataset
De auteurs hebben HSSBench ontwikkeld, een grote, meertalige benchmark die specifiek is ontworpen voor HSS-taken.

• Omvang: 13.152 zorgvuldig samengestelde samples.
• Categorieën: De dataset dekt zes hoofdcategorieën: Geografie, Kunst, Cultuur, Sociale Wetenschappen, Geschiedenis en Economie.
• Subtypes: Binnen deze categorieën zijn 45 gespecialiseerde subtypes gedefinieerd (bijv. "Fysieke Geografie", "Oosterse Kunst", "Micro-economie").
• Meertaligheid: De dataset is beschikbaar in de zes officiële talen van de Verenigde Naties (Engels, Chinees, Frans, Russisch, Spaans en Arabisch).
• Formaat: Voornamelijk meerkeuzevragen (VQA - Visual Question Answering), waarbij sommige vragen ook als open vragen zijn geformuleerd om de afhankelijkheid van hints te testen.

B. Dataverzameling en Constructie (VGP - Visual Question Generation Pipeline)
Om de dataset te bouwen, hebben de auteurs een innovatieve Visual Question Generation Pipeline ontwikkeld die samenwerking tussen menselijke experts en geautomatiseerde agents combineert:

1. Fase I (Dataset Preparation): Experts en een "Networked Information-Aggregation Agent" verzamelen ruwe data (teksten en afbeeldingen) uit betrouwbare bronnen (academische repositories, open source communities).
2. Fase II (Dataset Construction):
   • Expert Construction: Experts herschrijven bestaande vragen en creëren nieuwe vragen die complexe redenering vereisen.
   • Multi-Agent Construction: Een framework met rollen zoals 'summarizer', 'extractor', 'question generator' en 'image matcher' genereert schaalbaar hoogwaardige data.
3. Fase III (Validatie):
   • Agent Validatie: Controleert op duplicaten en zorgt ervoor dat vragen multimodaal zijn (d.w.z. dat een antwoord niet mogelijk is alleen op basis van tekst of alleen op basis van de afbeelding).
   • Expert Validatie: Menselijke experts verifiëren de nauwkeurigheid, de afwezigheid van ambiguïteit en gevoelige kwesties.

3. Belangrijkste Bijdragen

1. HSSBench Dataset: De eerste grote, meertalige benchmark die specifiek is ontworpen om de HSS-vaardigheden van MLLM's te evalueren, met een focus op horizontaal redeneren en cross-modale integratie.
2. Data Constructie Methode: Een praktische, schaalbare pipeline die experts en multi-agent systemen combineert om hoogwaardige, nieuwe datasets te genereren met minimale menselijke inspanning, terwijl de kwaliteit gewaarborgd blijft.
3. Uitgebreide Evaluatie: Een gedetailleerde benchmarking van meer dan 20 state-of-the-art MLLM's (zowel open-source als gesloten-bron) over zes talen, wat inzicht geeft in de huidige beperkingen van het veld.

4. Resultaten

De evaluatie van meer dan 20 modellen (waaronder Qwen2.5-VL, GPT-4.1, InternVL, LLaVA) op HSSBench levert de volgende bevindingen op:

• Algemene Prestaties: Zelfs de beste modellen presteren slecht. De nauwkeurigheid ligt vaak onder de 60%. De beste gesloten-bron modellen (GPT-4.1) halen ongeveer 40-50% in open vragen, terwijl open-source modellen vaak lager scoren.
• Vergelijking met Mensen: Menselijke experts behalen een gemiddelde nauwkeurigheid van ~93-94%, wat aantoont dat de benchmark een aanzienlijke uitdaging vormt voor AI.
• Domein-specifieke uitdagingen:
  • Economische taken blijken het moeilijkst voor modellen, waarschijnlijk vanwege de behoefte aan diepgaand theoretisch inzicht en complexe redenering.
  • Geografische taken zijn relatief makkelijker, waarschijnlijk omdat ze meer gebaseerd zijn op feitelijke kennis en minder abstracte interpretatie.
• Invloed van Prompting:
  • Chain-of-Thought (CoT): CoT helpt niet altijd; bij sommige modellen leidt het tot meer hallucinaties en fouten in de visuele analyse.
  • Open vs. Meerkeuze: Zonder antwoordopties (open vragen) daalt de prestatie drastisch (vaak onder de 15%), wat aangeeft dat modellen afhankelijk zijn van hints en moeite hebben met divergent denken.
• Meertaligheid: Er zijn variaties in prestaties tussen de zes talen, waarbij modellen vaak beter presteren in talen die sterk vertegenwoordigd zijn in hun trainingsdata (bijv. Chinees voor Qwen-modellen).
• Retrieval-Augmented Generation (RAG): Het toevoegen van externe kennis (via RAG) verbetert de prestaties niet consistent, wat suggereert dat algemene zoekopdrachten niet voldoende zijn voor de nuance van HSS-vragen.

5. Betekenis en Toekomstperspectief

HSSBench is een mijlpaal in de ontwikkeling van MLLM's omdat het:

• De focus verschuift van puur logisch/mathematisch redeneren naar cultureel en contextueel begrip.
• Aantoont dat huidige modellen "incomplete intelligentie" vertonen: ze kunnen wiskundige problemen oplossen maar falen bij het interpreteren van historische contexten of ethische principes.
• Een noodzakelijke basis legt voor toekomstig onderzoek gericht op het verbeteren van interdisciplinair redeneren en het internaliseren van kennis over verschillende domeinen.
• De AI-gemeenschap uitdaagt om modellen te ontwikkelen die niet alleen "rekenen" maar ook "begrijpen" in de complexe wereld van de geestes- en maatschappijwetenschappen.

Kortom, HSSBench blootlegt dat er nog een enorme kloof bestaat tussen de huidige capaciteiten van multimodale AI en het menselijk vermogen tot contextueel en cultureel inzicht, en biedt een gestructureerde weg om deze kloof te overbruggen.