Technische Samenvatting: Waste-Bench

Probleemstelling

Hoewel Vision Large Language Models (VLLMs) indrukwekkende capaciteiten hebben getoond in het begrijpen van standaard natuurlijke afbeeldingen en het uitvoeren van open eind visuele taken, blijft hun robuustheid in complexe, rommelige omgevingen onderbelicht. Traditionele objectdetectoren zijn vaak beperkt tot vaste labels en worstelen met open eind, contextbewuste queries. Omgekeerd richten bestaande VLLM-benchmarks (bijv. SEED-Bench, MV-Bench) zich primair op algemeen visueel begrip en missen zij een specifieke evaluatie van modellen in scenario's die worden gekenmerkt door vervormde objecten, ambigue visuele aanwijzingen en een hoog niveau van occlusie (overlap). Deze kloof is cruciaal voor real-world toepassingen zoals afvalbeheer, waarbij modellen moeten redeneren over onregelmatige vormen en overlappende items in ongestructureerde omgevingen.

Methodologie

Dataconstructie: Waste-Bench

De auteurs introduceren Waste-Bench, een uitgebreide benchmark ontworlogen om de robuustheid en het redeneervermogen van VLLMs bij afvalclassificatie te evalueren. De dataset is geconstrueerd via een rigoureuze vierfasen-pipeline:

1. Dataverzameling: De basis is de ZeroWaste dataset, die 952 hoogwaardige afbeeldingen van afval in rommelige omgevingen bevat.
2. Caption Generatie: Gedetailleerde afbeelding-captions werden gegenereerd met behulp van Gemini-Pro v1.5 en geverifieerd door twee menselijke expert-annotatoren. De inter-rater betrouwbaarheid was substantieel (Cohen's $\kappa$ = 0,78). Captions werden gefilterd op semantische relevantie, duidelijkheid en technische nauwkeurigheid.
3. Vraaggeneratie: Met gebruik van de geverifieerde captions als grondwaarheid (ground truth), genereerde GPT-3.5 11.424 open eind Vraag-Antwoord (QA) paren. Deze vragen waren ontworpen om diverse menselijke interacties te simuleren, waarbij nadruk lag op redenering en robuustheid die verder gaat dan eenvoudige afbeelding-captioning.
4. Filtratie en Evaluatie: Een human-in-the-loop review filterde ongeveer 20% van de paren (1.920 paren) eruit vanwege ruis, irrelevantie of onbeantwoordbaarheid. De uiteindelijke dataset bestaat uit 9.520 QA-paren verspreid over 952 afbeeldingen.

De dataset omvat 11 verschillende vraagcategorieën:

• Single Class Classificatie
• Multiclass Categorisering
• Tellen (Counting)
• Kleurdiversiteit
• Geometrische Vormanalyse
• Complexe en Rommelige Omgeving (binnen/buiten context)
• Conditie Evaluatie (intact, gedraaid, schoon, vuil)
• Gelijkenis Metriek (Similarity Metric)
• Gecombineerde Classificatie en Tellen

Evaluatieprotocol

De auteurs evalueerden zeven VLLMs (vijf open-source: InstructBLIP, LLaVA-1.6, CogVLM, Qwen-VL, MiniGPT-4; en twee closed-source: GPT-4o, Gemini-Pro) in hun voorgetrainde staat zonder fine-tuning.

• Oordeelmechanisme: GPT-4 werd ingezet als een geautomatiseerde rechter om de voorspellingen van modellen te vergelijken met de grondwaarheid, waarbij binaire correctheidsoordelen en scores (0–5) met redenering werden verstrekt.
• Validatie: De consistentie tussen GPT-4 evaluaties en menselijke evaluaties werd gevalideerd, waarbij een hoge mate van overeenstemming tussen de modellen werd aangetoond.

Belangrijkste Resultaten

Algemene Prestaties

VLLMs vertoonden over het algemeen inferieure prestaties op Waste-Bench vergeleken met hun prestaties op standaard benchmarks.

• Beste Presteerder: GPT-4o behaalde de hoogste nauwkeurigheid van 57,52%, waarmee het andere modellen significant overtrof, maar nog steeds ver onder de menselijke bovengrens van 81,20% bleef.
• Andere Modellen: Gemini-Pro scoorde 49,45%, terwijl open-source modellen varieerden van 36,40% (MiniGPT-4) tot 48,58% (InstructBLIP).
• Foutanalyse: Over alle modellen heen was het totale aantal fouten 34.391. De meest frequente fouten betroffen kleur-misidentificatie (12,2%), single-class slips (12,3%) en multiclass verwarring (12,0%).

Categorie-specifieke Bevindingen

De prestaties varieerden aanzienlijk per type taak:

• Sterktes: Modellen presteerden relatief beter bij Tellen (GPT-4o: 60,00%) en Conditie Evaluatie (GPT-4o: 60,00%, LLAVA: 58,00%).
• Zwaktes: Significante problemen werden waargenomen bij Single Class Classificatie (MiniGPT-4: 22,00%) en Kleurdiversiteit (CogVLM: 27,50%).
• Kwalitatieve Fouten: Het paper belicht specifieke faalmodi, zoals modellen die kleuren verkeerd identificeren door occlusie (bijv. een roze tas die wit lijkt door een wit papier eronder) en het falen om zeldzame of vervormde objecten te lokaliseren (bijv. het volledig missen van een metalen blikje).

Vergelijking met Andere Benchmarks

Wanneer vergeleken met SEED-Bench en MV-Bench, vertoonden modellen een merkbare daling in nauwkeurigheid op Waste-Bench. Bijvoorbeeld, LLaVA daalde van 66,7% op SEED-Bench naar 47,4% op Waste-Bench, wat aangeeft dat de rommelige, vervormde aard van de data een uniek en hoger niveau van moeilijkheid vormt.

Betekenis en Claims

Het paper claimt dat Waste-Bench dient als een kritiek instrument om de beperkingen van huidige VLLMs in real-world, ongestructureerde omgevingen bloot te leggen.

• Identificatie van de Kloof: De benchmark onthult dat modellen getraind op eenvoudigere datasets lijden onder prestatievermindering wanneer ze worden blootgesteld aan ruis, occlusie en vervormde vormen die typerend zijn voor afvalstromen.
• Sturing voor Toekomstig Werk: De resultaten suggereren dat huidige VLLMs verdere vooruitgang vereisen op het gebied van robuustheid, potentieel door middel van domeinadaptatie, adversarial training en blootstelling aan diverse, ruisgevoelige datadistributies.
• Beschikbaarheid van Middelen: De auteurs stellen dat de dataset en code publiekelijk beschikbaar zullen worden gesteld om de ontwikkeling van veerkrachtiger modellen voor automatische afvalscheiding en -beheer te faciliteren.

De auteurs hanteren een bescheiden toon en erkennen dat hun evaluatie beperkt was tot specifieke rommelige omgevingen en gecontroleerde condities, en dat de prestaties van deze modellen in zeer dynamische, onvoorspelbare settings een openstaand onderzoeksgebied blijven.