💬 NLP

From Sports to Safety: Benchmarking Proactive Risk Inference in MLLMs

Dit artikel introduceert SPRINT, een uitgebreide benchmark van realistische sportvideo's die is ontworpen om de proactieve risico-inferentiecapaciteiten van Multimodale Grote Taalmodellen (MLLM's) te evalueren, waarbij wordt onthuld dat hoewel huidige modellen uitblinken in het detecteren van gevaren, ze moeite hebben met het identificeren van de onderliggende oorzaken en frequent valse alarmen genereren, wat een kritieke kloof in betrouwbare proactieve veiligheid voor dynamische fysieke omgevingen benadrukt.

Oorspronkelijke auteurs: Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

Gepubliceerd 2026-08-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiawei Qiu, Yichen Xu, Jianzhe Ma, Mingyang Yu, Wenbin Zhu, Yang Han, Pinzheng Lv, Wenxuan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film kijkt, maar in plaats van alleen te zien wat er op het scherm gebeurt, zit er een superintelligente vriend naast je die de plotwendingen kan voorspellen voordat ze plaatsvinden. In de wereld van kunstmatige intelligentie wordt deze vriend een Multimodale Large Language Model (MLLM) genoemd. Dit zijn krachtige computerbreinen die afbeeldingen en video's kunnen "zien" en tekst kunnen "lezen", waardoor ze de wereld begrijpen op een manier die bijna menselijk aanvoelt. Lange tijd hebben wetenschappers deze AI-vrienden geleerd om slechte dingen te herkennen nadat ze zijn gebeurd, zoals het herkennen van een foto van een brand of het lezen van een tekst over een gevaarlijk dier. Maar de echte magie — en de echte veiligheidsuitdaging — ligt in proactief denken. Dit is het vermogen om een scène te bekijken, een klein, subtiel aanwijzing op te merken (zoals een wiebelende ladder of een hardloper die te ver doorleunt), en te roepen: "Wacht! Er gaat iets mis!" voordat de ramp daadwerkelijk toeslaat. Het is het verschil tussen de brandweer bellen nadat het huis is afgebrand, versus het rook zien en hen bellen voordat de vlammen ontstaan.

Dit is precies wat een team onderzoekers van de Renmin Universiteit van China wilde testen. Ze stelden een eenvoudige maar angstaanjagende vraag: Kunnen onze huidige AI-superbreinen fysieke ongelukken in realtime voorspellen, of doen ze alleen maar alsof ze slim zijn? Om dit uit te zoeken, bouwden ze een nieuwe testomgeving genaamd SPRINT (Sports Proactive Risk INference Testbed). Ze verzamelden bijna 3.000 echte video's van sportongelukken — van skateboardcrashes tot turnvalpartijen — en koppelden deze aan veilige video's waarin niets misging. Ze vroegen de AI niet alleen: "Is er iemand gewond geraakt?" (wat makkelijk te beantwoorden is achteraf). In plaats daarvan vroegen ze: "Wat gaat er mis en waarom?" Ze wilden zien of de AI het gevaar kon opmerken terwijl het nog in de kiem werd gelegd, zoals het zien van een voet die van een skateboard glijdt voordat de persoon de grond raakt.

De resultaten waren een beetje een waarschuwing. De onderzoekers ontdekten dat hoewel deze AI-modellen uitstekend zijn in het herkennen van gevaar zodra het overduidelijk is (zoals het zien van een persoon die op de grond ligt), ze verrassend slecht zijn in het voorspellen ervan voordat het gebeurt. Wanneer de AI een video van een sportongeluk kreeg en werd gevraagd de situatie te beschrijven zonder dat hem werd verteld om op gevaar te letten, miste de AI vaak de waarschuwingssignalen volledig. Nog erger was dat wanneer de onderzoekers expliciet vroegen: "Is er hier gevaar?", begon de AI in paniek te raken. De AI begon gevaar te zien in veilige video's, zoals een turner die een perfecte salto maakt of een hardloper die sprint, simpelweg omdat de vraag de AI paranoïde maakte. Het was alsof de AI zo graag wilde zeggen "Ik heb een probleem gevonden!" dat het problemen begon te verzinnen waar die helemaal niet waren.

De studie, die 2.888 video's over 14 verschillende sporten analyseerde, onthulde een scherpe kloof tussen het vermogen van de AI om gevaar te voelen en het vermogen om het te begrijpen. De beste AI-modellen konden correct signaleren dat er een gevaar aanwezig was in meer dan 95% van de gevallen wanneer het ongeluk al gaande was. Echter, wanneer ze werden gevraagd waarom het ongeluk plaatsvond of het te voorspellen vanaf de eerste paar seconden van een video, stortte hun prestatie in tot onder de 50%. Sterker nog, toen de onderzoekers de AI testten op veilige video's met een prompt die vroeg naar gevaar, begonnen sommige modellen meer dan de helft van de tijd onschuldige, energieke bewegingen als ongelukken te markeren.

De onderzoekers probeerden ook een van de AI-modellen te "onderwijzen" met behulp van hun nieuwe dataset, in de hoop deze blinde vlekken te verhelpen. Na enige training werd de AI veel beter in het opsporen van de oorzaken van ongelukken en werd het minder geneigd om vals alarm te slaan bij veilige video's. Maar zelfs met deze hulp bleef de AI worstelen met het moeilijkste deel: het bekijken van een video van een sportieve actie in de beginfase en het correct identificeren van de specifieke fysieke reden waarom een ongeluk zou kunnen plaatsvinden zonder dat daarvoor een prompt nodig is.

Uiteindelijk suggereert het artikel dat hoewel onze huidige AI-vrienden beter worden in het beschrijven van wat ze zien, ze de kunst van "proactieve veiligheid" nog niet echt beheersen. Ze zijn nog steeds grotendeels reactief; ze wachten tot de klap valt voordat ze het begrijpen. De studie concludeert dat voor AI om echt veilig te zijn in de echte wereld — of het nu gaat om het besturen van een auto, het helpen van een oudere persoon of het bekijken van een sportwedstrijd — het verder moet gaan dan alleen het opsporen van overduidelijke gevaren. Het moet leren om de oorzaken van gevaar te begrijpen en op zijn eigen ogen te vertrouwen in plaats van alleen te reageren op de vragen die we stellen. Tot die tijd moeten we misschien toch een menselijk oog op de bal houden, voor het geval de AI een perfecte sprong als een naderend drama ziet.

Technische Samenvatting: SPRINT – Sports Proactive Risk INference Testbed

1. Probleemstelling

Huidige Multimodale Large Language Models (MLLM's) worden steeds vaker geëvalueerd op hun vermogen om schadelijke inhoud of adversariële kwetsbaarheden te detecteren. Er blijft echter een kritieke kloof bestaan in proactieve fysieke gevaarsvoorspelling: het vermogen om opkomende fysieke gevaren te anticiperen vanuit evoluerend visueel bewijs voordat een ongeval plaatsvindt. Bestaande benchmarks richten zich op reactieve detectie (het identificeren van schade nadat het is gebeurd) of statisch veiligheidsadvies, en falen daarmee in het adresseren van de temporele dynamiek die vereist is voor real-world veiligheidsinterventies (bijv. autonoom noodremsysteem, valpreventie).

De kernuitdaging is tweeledig:

Temporele Anticipatie: Gevaren ontstaan vaak door subtiele, geleidelijke aanwijzingen (bijv. een instabiele houding, trajectafwijkingen) in plaats van door een enkel opvallend frame.
Causale Gronding: Modellen moeten niet alleen gevaar signaleren, maar ook de specifieke fysieke oorzaken identificeren (bijv. defect aan uitrusting versus verlies van evenwicht) om effectieve interventie mogelijk te maken.

Huidig onderzoek mist een systematisch evaluatiekader dat real-world dynamische videodata combineert met fijnmazige temporele en causale annotaties om deze specifieke capaciteiten te testen.

2. Methodologie

2.1 De SPRINT Benchmark

De auteurs introduceren SPRINT (Sports Proactive Risk INference Testbed), een benchmark ontworpen om proactief veiligheidsredeneren te evalueren.

Dataset Samenstelling: 2.888 real-world sportvideo's afkomstig van YouTube, bestaande uit:
- 2.440 Accident Video's: Verspreid over 14 sportcategorieën (bijv. gymnastiek, parkour, skiën) en 3 omgevingen (gestandaardiseerde locaties, ongestructureerde door mensen gemaakte ruimtes, natuurlijke & wildernis terreinen).
- 448 Veilige Controle-video's: Handmatig geverifieerd als ongevalvrij, gebruikt voor het diagnosticeren van vals alarm.
Annotatieschema:
- Temporeel: Twee cruciale tijdstempels per accident video:
  - $T_1$ (Earliest Cue Moment): Het eerste waarneembare abnormale visuele kenmerk (bijv. een gekantelde lichaamsas).
  - $T_2$ (Most Obvious Moment): Het onomkeerbare ongevalsmoment (bijv. impact).
- Causaal: Hiërarchische oorzaak-annotaties:
  - $H_1$ (Macrofactoren): In lijn met de Haddon Matrix (Persoonlijk, Interpersoonlijk, Uitrusting/Faciliteit, Locatie/Omgeving).
  - $H_2$ (Directe Oorzaak): Natuurlijke taalbeschrijvingen van de directe trigger.
- Veilige Video Annotatie: Geannoteerd met het moment van maximale bewegingsintensiteit om scenario's met een hoog risico te simuleren zonder werkelijk gevaar.

2.2 Evaluatieprotocol

De evaluatie beoordeelt MLLM's over drie progressieve dimensies:

D1 (Gevaarsdetectie): Geeft het model expliciet een huidig of dreigend gevaar aan?
D2 (Factor Dekking): Identificeert het model de juiste macro-niveau inducerende factor ( $H_1$ )?
D3 (Oorzaak Specificiteit): Articuleert het model accuraat de directe fysieke oorzaak ( $H_2$ )?

Experimentele Ontwerpen:

Full-Video Evaluatie: Testen van gevaarsperceptie met prompts variërend van beschrijvend tot expliciete veiligheidsvragen.
Temporal Window Evaluatie: Het inkorten van video's in drie vensters (Start tot $T_1$ , Start tot middelpunt, Start tot $T_2$ ) om de vroegtijdige waarschuwingscapaciteiten te testen onder variërende niveaus van visueel bewijs.
Diagnostische Experimenten: Het gebruik van veilige controle-video's om de False Positive Rates te meten onder expliciete gevaarsvragen versus neutrale beschrijvingen, om prompt-geïnduceerde bias te isoleren van genuwe visuele redenering.

2.3 Geëvalueerde Modellen

De studie benchmarkt state-of-the-art closed-source modellen (Doubao-seed-1.8, Gemini 3 Flash/Pro, GPT-4o, GPT-5) en open-source modellen (InternVL-3.5-8B, Qwen3-VL-8B).

3. Belangrijkste Resultaten

3.1 De Sensitiviteits-Begripskloof

Er bestaat een scherp contrast tussen gevaarsdetectie en causale begrijpelijkheid:

D1 (Detectie): Topmodellen (bijv. Doubao-seed-1.8) behalen >95% nauwkeurigheid in het signaleren van gevaren wanneer de volledige video wordt aangeboden.
D3 (Causaliteit): Dezelfde modellen zakken onder de 50% bij het identificeren van specifieke oorzaken.
Conclusie: Modellen vertrouwen op "oppervlakkige proactieve veiligheid"—het detecteren van visuele anomalieën geassocieerd met ongelukken, maar missen diepe fysieke causale redenering.

3.2 Prompt Sensitiviteit en Vals Alarm

Prompt Afhankelijkheid: Prestaties zijn zeer gevoelig voor de formulering van de prompt. Onder neutrale prompts (bijv. "Beschrijf de situatie") dalen de D1-scores voor topmodellen aanzienlijk (bijv. Doubao-seed-1.8 daalt van 88% naar 59% in vroege vensters).
Prompt-Geïnduceerde Bias: Diagnostische tests op veilige video's onthullen ernstige vals alarm. Wanneer geprompt wordt met "Is er gevaar?", vertonen modellen zoals GPT-5 en Doubao-seed-1.8 false-positive rates die springen van ~0,13–0,28 naar ~0,59–0,88. Dit suggereert dat modellen getriggerd worden door het woord "gevaar" in plaats van visueel bewijs.

3.3 Temporele Anticipatie

Falen van Vroegtijdige Waarschuwing: In het vroegste temporele venster (Venster A, tot $T_1$ ), verslechteren prestaties drastisch, vooral onder neutrale prompts. Open-source modellen vallen onder de 9% D1-nauwkeurigheid.
Causaal Redeneren: D3-scores blijven slecht (<0,30) zelfs in latere vensters, wat wijst op een fundamenteel onvermogen om waarschuwingen te gronden in specifieke fysieke oorzaken.

3.4 Nut van Fine-Tuning

Supervised fine-tuning (SFT) met behulp van SPRINT-annotaties op Qwen3-VL-8B leverde significante verbeteringen op:

D1 steeg van ~0,48 naar 0,99.
D3 verdrievoudigde meer dan (0,16 naar 0,52).
Vals positieve resultaten op veilige video's namen af, hoewel prompt-geïnduceerde bias in sommige condities voortbestond. Dit demonstreert de bruikbaarheid van SPRINT als trainingsbron.

4. Belangrijkste Bijdragen

SPRINT Benchmark: Een dataset van 2.888 real-world sportvideo's met fijnmazige temporele ( $T_1, T_2$ ) en hiërarchische causale ( $H_1, H_2$ ) annotaties, specifiek ontworpen voor proactieve risico-inferentie.
Systematisch Evaluatieprotocol: Een framework dat gevarendetectie, de tijdigheid van vroege waarschuwingen, causale attributie en vals alarm-controle dekt, waarbij onderscheid wordt gemaakt tussen reactieve en proactieve veiligheidscapaciteiten.
Empirisch Bewijs van Beperkingen: Uitgebreide resultaten die aantonen dat huidige MLLM's slechts oppervlakkige proactieve veiligheid vertonen, gekenmerkt door hoge sensitiviteit voor expliciete prompts, zwakke causale gronding en ernstige vals alarm-ratio's in gevaarvrije scenario's.

5. Betekenis en Claims

Het artikel stelt dat huidige MLLM's niet beschikken over de stabiele, op oorzaken gebaseerde vroege waarschuwingscapaciteiten die nodig zijn voor dynamische fysieke omgevingen. De bevindingen benadrukken dat:

Oppervlakkigheid: Modellen detecteren "gevaar" als een visueel patroon in plaats van de onderliggende fysieke dynamiek te begrijpen.
Prompt Fragiliteit: Veiligheidsgedrag is vaak een artefact van prompt engineering in plaats van robuuste redenering.
Noodzaak tot Verschuiving: Toekomstig onderzoek moet verder gaan dan anomaliedetectie en bewegen naar betrouwbare, op oorzaken gebaseerde proactieve veiligheid.

De auteurs positioneren SPRINT als een noodzakelijke stap om de kloof te overbruggen tussen theoretische veiligheidsafstemming en praktische, real-world gevaarsanticipatie, waarbij zij opmerken dat sport een theoretisch onderbouwde proxy biedt (via de Haddon Matrix) voor bredere veiligheidsdomeinen zoals autonoom rijden en valdetectie.

6. Beperkingen

Het artikel erkent expliciet verschillende beperkingen:

Modaliteit: De benchmark evalueert enkel visueel-tekstuele interacties, waarbij audio-signalen (bijv. botsingsgeluiden) worden weggelaten.
Omvang: De evaluatie is beperkt tot algemene MLLM's en sluit gespecialiseerde video-anomaliedetectiemodellen uit.
Subjectiviteit: De temporele grenzen van de annotaties ( $T_1, T_2$ ) behouden een inherente subjectiviteit ondanks kwaliteitscontrole.
Annotatiestructuur: Directe oorzaken ( $H_2$ ) zijn vrije tekst, wat een gestructureerde kinematische taxonomie mist, wat de precisie in causale evaluatie kan beperken.