Technische Samenvatting: Naar Autonome Veiligheidsbewaking in Laboratoria met Vision-Language Modellen

Probleemstelling

Laboratoriumomgevingen vormen een aanzienlijk risico op ernstig letsel of schade aan apparatuur door onveilige handelingen. Hoewel veiligheidstraining voorafgaand aan het laboratoriumwerk de standaard is, wordt continue bewaking beperkt door menselijke beschikbaarheid. Vision-Language Models (VLM's) bieden een potentiële oplossing voor autonome bewaking; de effectiviteit ervan in realistische omgevingen blijft echter onduidelijk. Een primaire barrière is het gebrek aan visuele evaluatiegegevens, aangezien de meeste veiligheidsincidenten worden gedocumenteerd als ongestructureerde tekst in plaats van geannoteerde afbeeldingen. Bovendien vertrouwen bestaande benchmarks (bijv. LabSafetyBench) vaak op niet-realistische afbeeldingen of vraaggestuurde opstellingen die de aandacht van het model expliciet sturen, waardoor ze niet in staat zijn de open einde observatie te vangen die vereist is voor realistische veiligheidsbewaking.

Methodologie

1. Gestructureerde Data Generatie Pipeline

Om het tekort aan data aan te pakken, stellen de auteurs een pipeline voor die tekstuele laboratoriumscenario's omzet in uitgelijnde triples van $\langle \text{afbeelding}, \text{scenegraaf}, \text{ground truth} \rangle$.

• Architect (LLM): Een Large Language Model (GPT-5) fungeert als architect, waarbij tekstuele gevaarscenario's worden vertaald naar gestructureerde scenegrafen. Deze grafen coderen expliciet objecten, attributen (Staat en Gevaar) en relaties (onderwerp-predicaat-object triples).
• Renderer (Beeldmodel): Een text-to-image model (Nano-banana-pro) fungeert als renderer, geconditioneerd op de gegenereerde scenegraaf om fotorealistische laboratoriumafbeeldingen te synthetiseren. Dit zorgt ervoor dat de visuele output strikt voldoet aan de logische beperkingen van de scenegraaf.
• Alignment Verification: De gegenereerde triples ondergaan verificatie door menselijke annotatoren en een VLM-als-rechter (Gemini-3-Pro) om de structurele en gevaar-consistentie tussen de afbeelding, de scenegraaf en de ground truth te waarborgen.

2. Gegevensdetectie Instellingen

De studie evalueert VLM's over vier verschillende inputmodaliteiten om de redeneercapaciteiten te isoleren:

• Tekst-alleen: De input is een tekstuele scenegraaf (met of zonder expliciete gevaarattributen).
• Visie + Tekst: De input bevat zowel de afbeelding als de bijbehorende tekstuele scenegraaf.
• Visie-alleen: De input is de ruwe laboratoriumafbeelding.
• Scene-Graph-Guided (SG-Guided): Een post-training context-engineering benadering waarbij de VLM eerst een scenegraaf reconstrueert uit de visuele input en vervolgens gevaarredenering uitvoert op basis van deze gestructureerde representatie.

3. Experimentele Opstelling

• Dataset: Een synthetische dataset van 1.207 uitgelijnde triples die 362 unieke scenario's beslaat over zeven laboratoriumdomeinen (bijv. Biologie, Chemie, Cryogene Vloeistoffen).
• Modellen: Evaluatie van zeven open- en closed-source VLM's (inclusief LLaVA, Qwen, LLaMA, Gemini, Claude en Mistral families).
• Metrieken: Precisie, Recall, F1-score, Mean Absolute Error (MAE) voor gevaar-aantal, en parsing-foutpercentages.

Belangrijkste Resultaten

Prestatieverschillen

• Tekst vs. Visie: VLM's presteren effectief wanneer ze voorzien worden van tekstuele scenegrafen, waarbij ze hoge F1-scores behalen. Echter, de prestaties nemen substantieel af in visie-alleen settings. Dit geeft aan dat hoewel VLM's veiligheidslogica coderen, ze moeite hebben met het impliciet extraheren van gestructureerde objectrelaties direct uit pixels.
• Model Variantie: Kleinere modellen (bijv. LLaVA) neigen er vaak naar om scènes als niet-gevaarlijk te voorspellen of vertonen degeneratief gedrag. Grotere modellen laten betere prestaties zien, maar lijden nog steeds onder visie-alleen modi vergeleken met tekstgebaseerde redenering.
• Domeingevoeligheid: De prestaties variëren per domein, waarbij scenario's met Cryogene Vloeistoffen en Natuurkunde uitdagender blijken dan Algemene of Biologie scenario's in visie-alleen settings.

Impact van SG-Guided Alignment

De voorgestelde Scene-Graph-Guided Alignment benadering verbetert de gevaardetectie in visie-alleen settings aanzienlijk. Door het model te dwingen de visuele inputs eerst te vertalen naar een gestructureerde scenegraaf voordat het gaat redeneren, kunnen de modellen hun inherente veiligheidslogica effectiever benutten. Dit bevestigt dat de bottleneck ligt in de perceptie-naar-structuur vertaling in plaats van de redeneercapaciteit zelf.

Ablatie Bevindingen

• Gevaarattributen: Het expliciet verstrekken van gevaarattributen in tekstuele scenegrafen verbetert de prestaties voor kleinere modellen, maar kan een afleider zijn voor grotere modellen, die mogelijk vertrouwen op shortcut-memoratie in plaats van redeneren over de staat en relaties van objecten.
• Parsing Fouten: De SG-guided benadering brengt hogere parsing-foutpercentages met zich mee, omdat modellen vaak er niet in slagen om de tussenliggende scenegraaf succesvol te genereren, waardoor ze het stadium van gevaardetectie niet bereiken.

Betekenis en Claims

Het artikel beweert dat autonome laboratoriumveiligheidsbewaking haalbaar is, maar momenteel beperkt wordt door de kloof tussen visuele perceptie en gestructureerde redenering in VLM's. De primaire bijdragen van de auteurs zijn:

1. Een Gestructureerde Synthetische Dataset: Een framework voor het genereren van uitgelijnde $\langle \text{afbeelding}, \text{scenegraaf}, \text{ground truth} \rangle$ triples, wat een open einde evaluatie van labveiligheid mogelijk maakt.
2. Empirisch Bewijs van de "Perceptiekloof": Demonstratie dat VLM's over veiligheidsredeneercapaciteiten beschikken die ontoegankelijk zijn in ruwe visuele settings zonder gestructureerde tussenmiddelen.
3. Een Praktische Mitigatiestrategie: De introductie van scene-graph-guided alignment als een post-training context-engineering methode om deze kloof te overbruggen.

De auteurs concluderen bescheiden dat hoewel huidige modellen moeite hebben met ruwe visuele gevaardetectie, het vertalen van visuele scènes naar gestructureerde tekstuele vormen hun redeneerpotentieel ontsluit. Zij suggereren dat toekomstig werk verder moet gaan dan post-training richting instruction tuning paradigma's die VLM's expliciet leren om nauwkeurige scenegrafen te genereren en veiligheidsredenering als kerncompetenties uit te voeren.