Technische Samenvatting: MHPR – Multidimensionaal Benchmark voor Menselijke Perceptie en Redenering

1. Probleemstelling

Huidige Large Vision-Language Models (LVLMs) en bestaande benchmarks staan voor aanzienlijke beperkingen bij het ondersteunen van real-world toepassingen zoals filmanalyse, virtuele digitale mensen en intelligente retail. Hoewel eerdere werken zoals RefCOCO, HERM-Bench en HumanRef mensgerichte detectie en eenvoudige Visuele Vraag-Antwoordtaken (VQA) hebben verbeterd, richten ze zich grotendeels op enkelvoudige taakdimensies (bijvoorbeeld detectie of classificatie) en missen ze fijnmazige, multidimensionale annotaties.

Specifiek falen bestaande datasets in het omvattend evalueren van de gezamenlijke perceptie en redenering die nodig is voor complex mens-scène begrip. Ze missen vaak:

• Fijnmazige attributen: Gedetailleerde beschrijvingen van uiterlijk, kleding, houding en lichaamsdelen.
• Hoge semantiek: Begrip van sociale relaties, actie-semantiek, ruimtelijke relaties, en de intentie of functionaliteit achter mens-mens en mens-object interacties.
• Multidimensionale reikwijdte: Het vermogen om gelijktijdig scenario's met individuen, meerdere personen en mens-object interacties te hanteren.

Deze kloof resulteert in praktische beperkingen, zoals beperkte visuele diversiteit bij de generatie van virtuele digitale mensen en het onvermogen van filmsystemen om groepsrelaties of dynamische interacties over verhaallijnen heen robuust te volgen.

2. Methodologie

De auteurs introduceren MHPR (Multidimensionale Menselijke Perceptie en Redenering), een uitgebreide benchmark ontworpen om deze gaten te dichten via een systematisch dataontwerp en een geautomatiseerde generatiepijplijn.

2.1 Multi-Level Data Ontwerp

MHPR maakt gebruik van een viertraps datastructuur om verschillende fasen van modelontwikkeling te ondersteunen:

1. Getekende Ruwe Data (C-RD): Behoudt openheid en uitbreidbaarheid, waardoor onderzoekers nieuwe taken en evaluatiedimensies kunnen aanpassen.
2. Supervisie Fine-Tuning Data (SFT-D): Bestaat uit grootschalige, taakgerelateerde VQA-steekproeven die qua formaat strikt zijn uitgelijnd met de testdata. Deze laag is ontworpen om fundamentele instructievolgende vaardigheden te leren en een stabiele uitlijningsbasis te bieden.
3. Versterkingsleer Data (RL-D): Een geavanceerde dataset opgebouwd via systematische "slechte-geval" analyse van modelfouten op de testset. Deze richt zich op specifieke faalmodi (ruimtelijke relaties, fijnmazige perceptie en kalibratie van redeneerdiepte) om perceptie en redenering bij moeilijke gevallen te verbeteren.
4. Testdata (T-D): Gebruikt voor objectieve evaluatie, waarbij consistentie met SFT-D wordt gewaarborgd qua samenstelling en annotatieparadigma's.

2.2 Data Bronnen

De benchmark integreert drie open-source datasets om breedte, diepte en stabiliteit te waarborgen:

• COYO-700M: Biedt een grootschalige, open-domein, stijl-variabele collectie van beeld-tekstparen voor algemene pretraining en cross-domein generalisatie.
• HumanCaption-10M: Biedt breed gedekte, fijnmazige, contextrijke mensgerichte beschrijvingen voor trainingscorpora.
• HumanCaption-HQ-311K: Een subset met hoge betrouwbaarheid en laag ruisniveau, verfijnd voor uitlijning en kalibratie.

2.3 Geautomatiseerde Caption en VQA Generatie Pijplijn (ACVG)

Om de arbeidsintensiteit van handmatige annotatie aan te pakken, stellen de auteurs ACVG voor, dat gebruikmaakt van een multi-model stemmechanisme om hoogwaardige, schaalbare annotaties te garanderen met minimale menselijke curatie.

• Caption Auto-annotatie Pijplijn (CAAP):
  • Filtering: Een viertraps pijplijn (Mensdetectie, Schaalfiltering, Controle op Volledigheid van Sleutelpunten en Collage-Beeld Filtering) verwijdert slechte of irrelevante afbeeldingen.
  • Generatie & Fusie: Drie lokale caption-generatoren (Qwen, Intern, Llama) produceren initiële captions. Een sterke LLM-orkestrator voert gestructureerde onenigheidsdetectie uit (GetDiff), corrigeert conflicten via multi-bron stemming (Vote) en voert fusie op schema-niveau uit (Mix) om een enkele, accurate caption te produceren.
• VQA Auto-Generatie Pijplijn (VAGP):
  • Vraagvoorstel: Genereert kandidaatvragen over drie semantische dimensies (enkele persoon, meerdere personen, mens-object) op basis van hoogwaardige captions.
  • Tri-MLLM Beantwoorden: Drie heterogene MLLMs beantwoorden de vragen parallel.
  • Consistentie Filtering: Antwoorden worden genormaliseerd en vergeleken. Exacte drieweg-overeenkomst levert "makkelijke" steekproeven op voor training; onenigheden worden gemarkeerd als "moeilijk" of dubbelzinnig voor menselijke beoordeling of semi-automatische correctie.

2.4 Evaluatiedimensies

De benchmark evalueert modellen over drie complementaire scenario-dimensies:

• Enkele Persoon: Uiterlijk, attributen (leeftijd, geslacht, beroep) en referentiële lokalisatie.
• Meerdere Personen: Interpersoonlijke relaties, sociale banden en vergelijkende analyse.
• Persoon en Object: Interacties tussen specifieke personen en niet-menselijke objecten.

Deze dimensies dekken fijnmazige attributen (uiterlijk, kleding, houding, delen) en hoge semantiek (sociale relaties, actie-semantiek, ruimtelijke relaties, intentie en functionaliteit).

3. Belangrijkste Bijdragen

1. MHPR Benchmark: Een mensgerichte, multidimensionale benchmark die gezamenlijk perceptie en redenering evalueert over scenario's met individuen, meerdere personen en mens-object interacties. Het adresseert belangrijke gaten in complex mens-scène begrip door zowel fijnmazige attributen als hoge semantiek te dekken.
2. Multi-Level Data Ontwerp & ACVG Pijplijn: De introductie van een gestructureerde data-stack (C-RD, SFT-D, RL-D, T-D) en de ACVG-pijplijn. De pijplijn maakt gebruik van multi-model stemming en consistentiecorrectie om hoogwaardige captions en VQA te produceren met minimale handmatige inspanning, wat de schaalbaarheid en annotatiekwaliteit aanzienlijk verbetert.
3. Gerichte RL Data Constructie: Het identificeren van drie specifieke capaciteitsgaten in huidige LVLMs (ruimtelijke relaties, fijnmazige perceptie en kalibratie van redeneerdiepte) en de constructie van een gerichte RL-dataset om deze specifieke zwaktes aan te pakken via analyse van slechte gevallen.

4. Experimentele Resultaten

De auteurs trainden Qwen2.5-VL-7B met de MHPR-dataset (specifiek de SFT-D en RL-D componenten) om Qwen2.5-VL-7B-SFT te creëren.

• Prestatie: Het gefine-tunede model behaalde een gemiddelde nauwkeurigheid van 81,40% over meerdere subsets, wat beter presteerde dan de basis Qwen2.5-VL-7B-Instruct (79,33%) en InternVL3-8B (77,64%).
• Vergelijkende Sterkte: Qwen2.5-VL-7B-SFT toonde aanzienlijke winst in subsets die fijnmazige redenering en perceptie vereisen (bijvoorbeeld Subject 4, 5, 6, 7, 8).
• Efficiëntie: Het 7B-parametermodel getraind met MHPR bereikte bijna gelijkwaardigheid met, en overtrof in sommige gevallen, aanzienlijk grotere modellen, wat de effectiviteit van de aangepaste dataset en trainingsmethodologie bevestigt.

5. Betekenis en Claims

Het artikel beweert dat MHPR een noodzakelijk kader biedt voor de vooruitgang van mensgerichte AI door verder te gaan dan mechanische doelverificatie naar dieper, contextbewust begrip.

• Gecombineerde Modellering: De resultaten suggereren dat het gezamenlijk modelleren van fijnmazige perceptie en hoge semantische redenering cruciaal is voor prestatiewinst in mensgerichte taken.
• Data Kwaliteit boven Schaal: De studie toont aan dat formaat-uitgelijnde SFT-data en uitdaging-gerichte RL-data het instructievolgen, de stabiliteit en de redeneercapaciteiten aanzienlijk kunnen verbeteren, vaak met betere resultaten dan het simpelweg vergroten van de modelgrootte.
• Schaalbare Annotatie: De ACVG-pijplijn bewijst dat hoogwaardige, schaalbare mensgerichte data kan worden gegenereerd met minimale handmatige curatie via multi-model stemming en geautomatiseerde consistentiecorrectie.
• Geïdentificeerde Uitdagingen: Het werk benadrukt dat ruimtelijk begrip (viewpoint-modellering), fijnmazige perceptie onder occlusie, en de kalibratie van redeneerdiepte (weten wanneer niet te infereren) nog steeds grote uitdagingen zijn voor huidige LVLMs, en biedt een duidelijke richting voor toekomstig onderzoek.

Door ACVG en MHPR vrij te geven, beogen de auteurs reproduceerbaar en uitbreidbaar onderzoek te faciliteren in mensgerichte perceptie en redenering, en bieden een praktische weg naar robuustere en intelligentere vision-language toepassingen.