UNICBench: UNIfied Counting Benchmark for MLLM

Dit paper introduceert UNICBench, het eerste geünificeerde meermodale benchmark- en evaluatietoolkit voor het tellen in multimodale grote taalmodellen (MLLMs), dat een rigoureuze analyse mogelijk maakt van 45 state-of-the-art modellen op basis van 5.300 afbeeldingen, 872 documenten en 2.069 audiofragmenten, waarbij significante prestatiekloven worden blootgelegd bij complexe redeneertaken.

De kern

Stel je voor dat je een nieuwe, super slimme robot hebt die alles kan zien, horen en lezen. Je vraagt hem: "Hoeveel appels liggen er in deze foto?" of "Hoe vaak hoor ik een hond blaffen in dit geluidsfragment?" of "Hoeveel keer komt het woord 'vrijdag' voor in dit lange document?"

Het lijkt simpel, maar voor kunstmatige intelligentie (AI) is het tellen van dingen een enorme uitdaging. Soms telt de robot 10 appels terwijl er maar 3 zijn, of hij zegt: "Ik kan dat niet doen" terwijl het antwoord gewoon 5 is.

De auteurs van dit paper hebben een oplossing bedacht: UNICBench. Laten we uitleggen wat dat is, alsof we het in een koffiehuis bespreken.

1. Het Probleem: De "Telmotor" is nog niet klaar

Tot nu toe hadden we verschillende tests voor AI, maar ze waren allemaal gescheiden. Er was een test voor het tellen van mensen in een drukke straat (foto's), een test voor het tellen van woorden in een boek (tekst), en een test voor het tellen van geluiden (audio). Maar er was geen enkele, grote test die alles samenbracht.

Het is alsof je een auto wilt testen, maar je rijdt hem alleen maar op een racebaan, en daarna alleen maar op een modderpad, en daarna alleen maar in de sneeuw. Je weet niet of hij écht goed is in alles.

2. De Oplossing: UNICBench (De "Grote Test" voor AI)

De onderzoekers hebben UNICBench gebouwd. Dit is een enorme, uitgebreide testset die AI's op drie manieren uitdaagt:

• Foto's: Van een paar vogels op een tak tot duizenden mensen in een menigte.
• Tekst: Van een kort e-mailtje tot een heel boek of een juridisch contract.
• Geluid: Van een klapdeur tot een gesprek waar tien mensen door elkaar praten.

Ze hebben 14.301 vragen gemaakt. Dat is alsof ze een gigantisch examen hebben opgezet voor de slimste robots ter wereld.

3. De Drie Niveaus van Moeilijkheid

De test is niet zomaar een lijstje. Het is opgebouwd als een videogame met drie levels:

• Level 1: De "Kijk-en-Tel" (Patroon)
  • Voorbeeld: "Hoeveel rode ballen zie je?"
  • Analogie: Dit is als het tellen van appels in een mand. Je hoeft alleen maar te kijken en te tellen. De meeste AI's doen dit redelijk goed.
• Level 2: De "Filter-En-Tel" (Semantiek)
  • Voorbeeld: "Hoeveel mannen in rode shirts zie je?" of "Hoeveel unieke namen staan er in deze lijst?"
  • Analogie: Dit is als een zoektocht in een supermarkt. Je moet niet alleen tellen, maar ook filteren: "Alleen de mannen, en alleen die met een rode shirt." De AI moet nu echt begrijpen wat het ziet.
• Level 3: De "Redeneer-en-Tel" (Redenering)
  • Voorbeeld: "Hoeveel mappen in deze screenshot zijn gemaakt in 2022, maar niet in de map 'Archief'?" of "Hoeveel vragen zijn er gesteld in dit gesprek, maar alleen door de vrouw?"
  • Analogie: Dit is als een detective die een dossier moet oplossen. Je moet regels toepassen, logisch nadenken en soms zelfs twee dingen bij elkaar optellen of aftrekken. Dit is waar de meeste AI's het grootst falen.

4. Wat hebben ze ontdekt? (De Uitslag)

Toen ze 45 van de slimste AI's (zoals GPT-4, Claude, Gemini en Qwen) op deze test zetten, zagen ze een interessant patroon:

• Basis is goed: De AI's zijn heel goed in het tellen van simpele dingen (Level 1).
• De valkuil: Zodra het iets moeilijker wordt (Level 2 en 3), gaan ze de mist in. Ze tellen te veel, te weinig, of ze vergeten de regels.
• Geluid is het lastigst: Het tellen van geluiden (zoals wie praat er wanneer?) is voor de AI's het moeilijkst. Het is alsof je probeert te tellen hoeveel mensen er in een drukke bar praten terwijl de muziek hard staat.
• De "Weigeren"-probleem: Veel AI's zeggen liever: "Ik kan dat niet doen" of "Dat is veiligheidsrisico", in plaats van een gokje te wagen. Dit is frustrerend, want de test wil zien of ze het kunnen, niet of ze het durven.

5. Waarom is dit belangrijk?

Dit paper is als een stethoscoop voor de AI-wereld. Het laat zien dat onze robots nog niet zo slim zijn als we denken als het gaat om het tellen van dingen in de echte wereld.

• Voor een supermarkt die wil weten hoeveel producten er op de plank liggen.
• Voor politie die wil weten hoeveel mensen er in een menigte zijn.
• Voor journalisten die snel cijfers uit een rapport moeten halen.

De boodschap is: "We hebben een betere meetlat nodig." Met UNICBench kunnen onderzoekers nu precies zien waar hun AI's falen en hoe ze die "telmotor" kunnen verbeteren.

Kortom: De AI's zijn slim, maar ze zijn nog niet perfect in het tellen. UNICBench is de nieuwe, strenge schooltest die ze dwingt om te leren tellen, niet alleen maar te raden.

Technische samenvatting

Probleemstelling

Het tellen van objecten, gebeurtenissen of structurele elementen is een fundamentele cognitieve vaardigheid voor multimodale grote taalmodellen (MLLMs). Hoewel er aanzienlijke vooruitgang is geboekt op diverse multimodale benchmarks, ontbreekt er een unificerend benchmark dat het vermogen tot tellen strikt evalueert over drie modaliteiten: afbeeldingen, tekst en audio.

Bestaande datasets hebben de volgende beperkingen:

1. Modale en taalgaten: Er is geen publieke, kant-en-klare data voor audio-evenementen, gekoppelde beeld-tekst tellingen, of het tellen van structurele elementen in lange documenten.
2. Heterogene annotaties: Bestaande datasets gebruiken verschillende formaten (dichtheidskaarten, punten, bounding boxes, tijdstippen) zonder duidelijke regels voor het meenemen van exemplaren, wat een uniforme QA-template (vraag-antwoord) bemoeilijkt.
3. Inconsistentie in evaluatie: Verschillende werken gebruiken verschillende splits, prompts, decoding-instellingen en matchingsregels, wat vergelijking en reproduceerbaarheid verhindert.
4. Beperkte modelbeschikbaarheid: Het ontbreken van open modellen met een gebalanceerde modale dekking en de hoge kosten van gesloten API's maken eerlijke vergelijkingen complex.

Methodologie: UNICBench

UNICBench is een unificerend, multimodaal en multi-niveau benchmark en evaluatie-toolkit. De kernmethodologie omvat:

1. Data Collectie en Samenstelling:
Het corpus bevat in totaal 14.301 vragen over 8.241 samples:

• Afbeeldingen: 5.300 samples (5.508 vragen) uit bestaande datasets (zoals FSC-147, NWPU-Crowd) en handmatige annotaties voor specifieke categorieën (bijv. mensen, voertuigen, fruit).
• Tekst: 872 documenten (5.888 vragen) verzameld uit code-repositories, juridische documenten, LaTeX-bestanden en literaire werken.
• Audio: 2.069 clips (2.905 vragen) uit DESED (omgevingsgeluiden) en AliMeeting (conversaties).

2. Taxonomie van Taken:
Elke taak wordt geclassificeerd op twee niveaus:

• Capaciteitsniveau (3 niveaus):
  • Pattern (L1): Direct perceptueel tellen (bijv. "Hoeveel appels zijn er?").
  • Semantic (L2): Filteren op attributen en ontdubbeling (bijv. "Hoeveel rode auto's zijn er?" of "Hoeveel unieke citaten?").
  • Reasoning (L3): Regels gestuurd en compositief tellen (bijv. "Hoeveel mappen in deze screenshot zijn gewijzigd in 2022?").
• Moeilijkheidsniveau: Gekwantificeerd op basis van objectaantallen, dichtheid, occlusie en overlap (Eenvoudig, Gemiddeld, Moeilijk).

3. Evaluatie Protocol:

• Ground Truth: Elk antwoord bevat een exact getal én gestructureerd bewijs (coördinaten, tekstspans, tijdstippen).
• Metrics:
  • Success Rate: Percentage van de prompts waarbij een geldig numeriek antwoord wordt gegenereerd.
  • MAE/MSE: Gemiddelde absolute en kwadratische fout.
  • Hit Rate: Tolerantie-gedreven nauwkeurigheid (bijv. binnen 10% of 20% van het echte antwoord).
• Standaardisatie: Alle modellen worden getest met identieke systemprompts, temperaturen en decoding-instellingen om vergelijking mogelijk te maken.

Kernbijdragen

1. Eerste Unificerend Benchmark: Het is de eerste benchmark die tellen over afbeeldingen, tekst en audio combineert met een gestandaardiseerde QA-structuur.
2. Gecurateerd Corpus: Een robuust dataset met "evidence-first" ground truth en een canoniek schema voor voorspellingen, inclusief duizenden vragen over diverse domeinen.
3. Uitgebreide Evaluatie: Evaluatie van 45 state-of-the-art MLLMs (waaronder GPT-4o/5, Gemini, Claude, Qwen, InternVL, DeepSeek) met een open evaluatie-toolkit.
4. Systematische Analyse: Identificatie van specifieke zwaktes in redenering en zeldzame fouten (long-tail errors) die huidige modellen beperken.

Resultaten

De evaluatie van 45 modellen levert de volgende inzichten op:

• Algemene Prestaties: Modellen presteren goed op eenvoudige, perceptieve taken (Pattern-level) met hoge success rates. Echter, er zijn significante gaten in redenering (Reasoning) en de moeilijkste segmenten.
• Modale Verschillen:
  • Afbeeldingen: Modellen worstelen met hoge dichtheid en occlusie (bijv. menigten). Gesloten bronmodellen (zoals GPT-5-mini) tonen meer robuustheid op moeilijke taken dan open-source modellen.
  • Tekst: Modellen doen het goed op semantisch filteren, maar falen vaak bij strikte patroonmatching of complexe logica in lange documenten. "Thinking"-modellen (met chain-of-thought) presteren beter op extreme hoogwaardige tellingen.
  • Audio: Dit is de meest uitdagende modale. Veel modellen weigeren antwoorden of genereren ongeldige output. Waar modellen wel antwoorden, zijn de fouten vaak categorisch (missen of hallucineren van gebeurtenissen) in plaats van kleine numerieke afwijkingen.
• Foutanalyse: De belangrijkste foutbronnen zijn:
  1. Supervisie-gaten: Modellen zijn getraind op beschrijving, niet op per-exemplaar telling.
  2. Representatie-limieten: Downsamplede visuele tokens verliezen kleine, dicht op elkaar gepakte objecten.
  3. Kalibratie: Neiging tot afronden of overconfidente voorspellingen bij onzekerheid.

Betekenis en Toekomstperspectief

UNICBench biedt een rigoureuze en vergelijkbare basis om de numerieke cognitie van MLLMs te meten. De resultaten tonen aan dat hoewel MLLMs veelbelovend zijn voor algemene taken, ze nog aanzienlijke verbetering nodig hebben in het tellen van complexe, gereduceerde of gereduceerde scenario's.

De paper concludeert met aanbevelingen voor de gemeenschap:

• Adoptie van evidence-first output (niet alleen een getal, maar ook het bewijs).
• Ontwikkeling van hybride pipelines die detectoren combineren met VLLMs voor betere nauwkeurigheid.
• Gebruik van gedifferentieerde rapportage op moeilijkheidsniveau in plaats van alleen gemiddelde scores.

UNICBench versnelt de ontwikkeling van MLLMs door een gemeenschappelijke taal en standaard te bieden voor het evalueren van een van de meest fundamentele, maar vaak verwaarloosde, cognitieve vaardigheden.