Technische Samenvatting: MCBench – Een Multicontextuele Veiligheidsbeoordelingsbenchmark voor Omni Large Language Models

1. Probleemdefinitie

Huidige multimodale veiligheidsbenchmarks richten zich primair op visuele inputs, waarbij scenario's worden geëvalueerd waarin visuele aanwijzingen alleen voldoende zijn voor een veiligheidsbeoordeling. Deze beperking verhindert de evaluatie van Omni Large Language Models (Omni LLMs), die ontworpen zijn om visie, audio en spraak simultaan te verwerken. Bestaande omnimodale benchmarks beoordelen over het algemeen algemene redeneergemiddelden in plaats van veiligheidsspecifieke redeneringen. Bovendien vereist veiligheidsbeoordeling in de echte wereld vaak het synthetiseren van informatie over meerdere modaliteiten (visueel, akoestisch en linguïstisch), een complexiteit die niet wordt gevangen door single-modality of single-context benchmarks.

Het kernprobleem dat wordt aangepakt, is het gebrek aan een uitgebreide benchmark om de veiligheidsbewustheid van Omni LLMs te evalueren in multicontextuele settings, waar een nauwkeurige beoordeling afhankelijk is van de integratie van beeld-, audio- en spraakgegevens.

2. Methodologie: MCBench Constructie

De auteurs introduceren MCBench, een benchmark bestaande uit 1.196 scenario's die zijn ontworpen om veiligheidsbeoordeling te testen over vier grofmazige categorieën:

1. Fysieke Schade (bijv. geweld, milieurisico's, medische noodgevallen).
2. Sociale Schade (bijv. haatzaaiende taal, desinformatie, intimidatie).
3. Illegale Schade (bijv. misdrijven tegen personen, cybercriminaliteit).
4. Eigendomsschade (bijv. gaslekken, structurele dreigingen).

Datacollectie Pipeline

De constructie van MCBench volgt een tweefasig framework:

• Fase 1: Scenario Generatie: Door gebruik te maken van Claude-Sonnet-4.5 genereerden de auteurs fijnmazige subcategorieën en specifieke veiligheidsscenario's. Cruciaal is dat onveilige scenario's werden geconstrueerd met behulp van een If-Then logische structuur (bijv. ALS <conditie 1> EN <conditie 2> DAN ONVEILIG). Voor elk onveilig scenario werd een bijbehorend veilig tegenhanger gemaakt door één of twee condities minimaal te wijzigen. Dit paar stelt de beoordeling van de modelgevoeligheid voor subtiele contextuele veranderingen in staat.
• Fase 2: Multimodale Data Generatie: Tekstuele beschrijvingen uit Fase 1 werden gebruikt om multimodale inputs te synthetiseren.
  • Afbeeldingen: Gegenereerd met behulp van Gemini-Flash-2.5.
  • Audio: Gegenereerd met behulp van Stable Audio 1.0. Complexe audiobeschrijvingen werden gedecomposed in individuele geluidsevenementen en gecombineerd op basis van temporele relaties (sequentieel of simultaan).
  • Spraak: Inbegrepen als onderdeel van de scenario-context.
• Kwaliteitscontrole: Menselijke experts verifieerden de scenario's op realisme en logische consistentie, en filterden media van lage kwaliteit eruit.

Evaluatie Protocol

De studie evalueerde zowel open-source (bijv. Qwen-Omni2.5, AnyGPT, InternOmni) als propriëtaire (bijv. Gemini-Flash-2.5, GPT-4o-mini) Omni LLMs.

• Metriek: Nauwkeurigheid in het classificeren van scenario's als veilig of onveilig.
• Beoordeling: Het GPT-4o model diende als een "LLM-as-a-judge" om de chain-of-thought redeneersporen te interpreteren die door de geëvalueerde modellen werden gegenereerd.
• Ablatie-studies: De auteurs voerden experimenten uit waarbij visuele en audio-inputs werden vervangen door hun tekstuele beschrijvingen om de impact van modaliteitsperceptie versus redenering te isoleren.

3. Belangrijkste Resultaten

De evaluatie van state-of-the-art modellen op MCBench onthulde aanzienlijke uitdagingen:

• Algemene Prestaties: Zelfs de best presterende modellen (Gemini-Flash-2.5 en Qwen-Omni-2.5-3B) bereikten slechts een gemiddelde nauwkeurigheid van ~64,5%, wat aangeeft dat MCBench een substantiële uitdaging vormt voor huidige architecturen.
• Categorie Verschillen:
  • Modellen presteerden relatief goed op Fysieke Schade en Eigendomsschade, waar prominente visuele en akoestische aanwijzingen aanwezig zijn.
  • Modellen hadden aanzienlijke moeite met Sociale Schade en Illegale Schade, die subtiele of niet-fysieke risico's inhouden. Sommige open-source modellen vertoonden bijvoorbeeld overgevoeligheid (het classificeren van veilige scenario's als onveilig) in Sociale Schade, terwijl anderen insensitiviteit vertoonden voor onveilige scenario's in dezelfde categorie.
• Modaliteitsimpact:
  • Visuele Context: Het vervangen van afbeeldingen door tekstuele beschrijvingen verbeterde de prestaties van de modellen vaak, wat suggereert dat huidige Omni LLMs moeite hebben met het direct extraheren van relevante veiligheidscues uit afbeeldingen.
  • Audio Context: Grotere modellen (bijv. Gemini-Flash-2.5) presteerden beter met tekstuele audiobeschrijvingen dan met ruwe audio, terwijl kleinere modellen verslechterden. Dit geeft aan dat capabele modellen tekstuele context beter kunnen integreren, terwijl akoestische kenmerken in huidige modellen beperkte additionele onderscheidende kracht bieden voor veiligheidsbeoordeling.
• Redeneren vs. Perceptie:
  • Perceptie: Modellen demonstreerden over het algemeen het vermogen om grondwaarheidspredicaten (relevante informatie) te extraheren uit multimodale inputs.
  • Redeneren: De primaire foutmodus was de integratie van deze cues. Modellen faalden vaak in het effectief combineren van geëxtraheerde informatie, wat leidde tot onjuiste veiligheidsbeoordelingen.
  • Overgevoeligheid: Wanneer voorzien van expliciete redeneercontexten (grondwaarheidspredicaten), werden modellen overgevoelig, waardoor ze veilige scenario's onterecht als onveilig classificeerden. Ze hadden de neiging om hun oordeel te baseren op een enkele zorgwekkende cue (bijv. een tekstuele melding) terwijl ze tegenstrijdig bewijs uit andere modaliteiten (bijv. stemcommando's die veiligheid aangeven) negeerden.

4. Belangrijkste Bijdragen

1. MCBench Benchmark: De eerste multimodale, multicontextuele veiligheidsbenchmark specifiek afgestemd op de evaluatie van Omni LLMs, met 1.196 scenario's met gepaarde veilige/onveilige instanties over vier veiligheidstaxonomieën.
2. Uitgebreide Analyse: Een gedetailleerde evaluatie van state-of-the-art open-source en propriëtaire Omni LLMs, die onthult dat hoewel modellen modaliteitsspecifieke informatie kunnen extraheren, ze een gebrek hebben aan robuuste cross-modale redeneercapaciteiten voor veiligheidskritische settings.
3. Foutdiagnose: Identificatie van specifieke foutmodi, inclusief overgevoeligheid voor geïsoleerde cues en een gebrek aan gebaliseerde integratiemechanismen, wat leidt tot systematische fout-positieven in veilige scenario's.

5. Betekenis en Claims

Het artikel claimt dat MCBench dient als een rigoureuze testomgeving voor het bevorderen van de ontwikkeling van veilige Omni LLMs. De bevindingen onderstrepen een kritiek gat in huidige architecturen: hoewel modellen meerdere modaliteiten kunnen verwerken, missen ze de robuuste cross-modale redenering die nodig is om deze inputs te synthetiseren voor nauwkeurige veiligheidsbeoordelingen in complexe, real-world contexten.

De auteurs concluderen dat toekomstig onderzoek zich moet richten op:

• Het ontwikkelen van architecturen en trainingsstrategieën die gebalanceerde multimodale redenering afdwingen.
• Het verbeteren van mechanismen voor informatieaggregatie over modaliteiten heen om te voorkomen dat modellen te veel vertrouwen op een enkele, potentieel misleidende cue.
• Het aanpakken van de specifieke uitdagingen van immateriële risico's (sociale en juridische schade) waarbij visuele en akoestische cues minder definitief zijn.

Het artikel positioneert MCBench niet als een definitieve oplossing, maar als een noodzakelijke stap om de beperkingen van huidige Omni LLMs in veiligheidskritische toepassingen bloot te leggen, en daarmee de gemeenschap te leiden naar meer betrouwbare multimodale veiligheidssystemen.