Technische Samenvatting: Falcon – Functionele Assemblage en Taal voor Compositioneel Redeneren in Röntgenfoto's

1. Probleemformulering: Compositioneel Dreigingsredeneren

Huidige visie-taalmodellen (VLM's) en röntgensystemen voor beveiliging zijn voornamelijk objectgericht, waarbij de focus ligt op het detecteren en beschrijven van individuele entiteiten (bijv. een pistool of een mes). Echter, in kritieke veiligheidssituaties zoals bagagecontrole met röntgenstraling, ontstaan dreigingen vaak niet door enkelvoudige objecten, maar door de functionele compatibiliteit van ruimtelijk verspreide componenten. Improvised Explosive Devices (IED's) kunnen worden vervoerd in een gedemonteerde staat, waarbij batterijen, ontst stekers en explosieve ladingen gescheiden binnen een tas worden vervoerd. Individueel onschadelijke componenten worden pas gevaarlijk wanneer ze functioneel compatibel zijn.

Het artikel identificeert een gat in het huidige onderzoek: hoewel er grootschalige benchmarks bestaan voor objectdetectie, ontbreekt het aan het vermogen om relationele veiligheidsinferentie te modelleren. Huidige Multimodale Large Language Models (MLLM's) vertrouwen op impliciete aandacht zonder expliciete supervisie over de compatibiliteit tussen componenten, wat het moeilijk maakt om te redeneren of ruimtelijk gescheiden componenten onder zware occlusie gezamenlijk een functionele dreiging vormen.

De auteurs formaliseren deze setting als Compositional Threat Reasoning (Compositioneel Dreigingsredeneren), waarbij veiligheid wordt gemodelleerd als een relationele eigenschap van gegronde regio's in plaats van een onafhankelijke detectieresultaat.

2. Methodologie: Het Falcon-framework

De auteurs stellen Falcon voor, een segmentatiebewust multimodale framework dat is ontworpen om regio-kenmerken te abstraheren naar een gestructureerde veiligheidstoestand voordat taalgeneratie plaatsvindt. De architectuur dwingt relationele consistentie af tussen perceptie en redenering via een expliciete intermediaire interface.

2.1 Architectuuroverzicht

Falcon integreert vier kerncomponenten:

1. Segmentatiebewuste Perceptie:

   • Visuele Backbone: Gebruikt DINOv2 om dichte patch-tokens te extraheren, waarbij de ruimtelijke resolutie behouden blijft die cruciaal is voor kleine, rommelige componenten.
   • Regio-proposer: Gebruikt een klasse-agnostische transformer (RF-DETR) om instantie-voorstellen te genereren, inclusief bounding boxes, segmentatiemaskers en betrouwbaarheidsscores. Maskerpredictie krijgt prioriteit boven bounding boxes om de X-ray superpositie en rommel te beheersen.
   • Mask-Aware Regio-encoder: Combineert ROI-aligned kenmerken met mask-gepoolde kenmerken om taal-gealigneerde regio-embeddings te creëren.

2. Gestructureerde Functionele Toestandmodellering (Structured Safety Adapter - SSA):

   • De SSA brengt variabel grootte van regio-embeddings in kaart naar een vaste, interpreteerbare functionele toestand.
   • Query-gebaseerde Component Slots: Gebruikt geleerde queries die overeenkomen met een vooraf gedefinieerde component-taxonomie (bijv. batterij, ontsteker, hoofdlading) om regio-embeddings te aggregeren via aandacht.
   • Gestructureerde Voorspellingen: De SSA voorspelt drie specifieke signalen:
     • Component Aanwezigheid ($\hat{p}$): Binaire waarschijnlijkheid van elk componenttype.
     • Paarsgewijze Functionele Koppelingen ($\hat{L}$): Waarschijnlijkheden die de functionele compatibiliteit tussen componentparen aangeven (bijv. batterij-naar-ontsteker).
     • Scène Risico ($\hat{r}$): Een continue risicoscore ($0$ tot $1$) afgeleid van de gestructureerde component-embeddings en geïnformeerde koppelingen, in plaats van ruwe visuele tokens.

3. Getokeniseerde Veiligheid-conditionering:

   • De gestructureerde voorspellingen worden omgezet in "veiligheidstokens" en geïnjecteerd in het Large Language Model (LLM) als een expliciete intermediaire representatie. Dit conditioneert het LLM op de geïnformeerde veiligheidstoestand voordat het een reactie genereert.

4. LLM Redenering:

   • Gebruikt Vicuna-7B als backbone. Het model fuseert beeld-tokens, regio-tokens, veiligheidstokens en tekst-tokens. Het LLM is bevroren en wordt aangepast met behulp van LoRA voor domeinspecifieke fine-tuning.

2.1 Trainingsstrategie

Falcon wordt getraind in drie ontkoppelde stadia:

1. Fase 1 (Proposal Learning): Traint de klasse-agnostische RF-DETR detector om hoogwaardige instantie-maskers en boxen te produceren.
2. Fase 2 (Gestructureerde Multimodale Alignment): Bevriest de detector en het LLM. Traint de SSA om aanwezigheid, koppelingen en risico te voorspellen, terwijl taalgeneratie en gestructureerde veiligheidsvoorspelling gezamenlijk worden gesuperviseerd.
3. Fase 3 (Instruction Fine-Tuning): Maakt LoRA-adapters in het LLM mogelijk om instructie-adherentie en de uitlijning tussen de gestructureerde voorspellingen en gegenereerde verklaringen te verbeteren.

3. De Falcon-X Benchmark

Om dit probleem te evalueren, introduceren de auteurs Falcon-X, een benchmark van ongeveer 7.000 echte dual-energy röntgenscans (uitgebreid naar ~50.000 met tegenfeitelijke scenario's) met inert, gedemonteerd IED-componenten.

• Unieke Kenmerken: In tegen tegenstelling tot bestaande datasets (bijv. SIXray, OPIXray) die zich richten op intacte verboden voorwerpen, modelleert Falcon-X ruimtelijk verspreide functionele componenten.
• Annotaties: Bevat dichte instantie-grounding (bounding boxes en pixel-nauwkeurige maskers) en gestructureerde supervisie voor component-volledigheid en gekalibreerd risico.
• Taakset: De benchmark evalueert drie hiërarchische lagen:
  1. Gronde Perceptie: Scène-captioning, panoptische segmentatie en referentiële segmentatie onder zware occlusie.
  2. Compositioneel Functioneel Redeneren: Identificatie van ontbrekende componenten, scoring van functionele volledigheid en referentiële functionele grounding.
  3. Relationeel Consistente Veiligheidsinferentie: Scène risicovoorspelling, schatting van component-kopplingsrisico en logische consistentiecontroles.

4. Experimentele Resultaten

Experimenten vergelijken Falcon met algemene en domein-aangepaste VLM's (bijv. LISA, Groma, Sting-Bee) op Falcon-X.

• Scène Begrip & VQA: Falcon presteert op gelijke hoogte met of licht boven sterke baselines in standaard captioning en VQA, wat aangeeft dat de gestructureerde aanpak de algemene multimodale capaciteiten niet degradeert.
• Compositionele Grounding: Falcon vertoont een aanzienlijk voordeel in Referring Functional Grounding (RFG), waarbij het doel wordt gedefinieerd door functionele compositie in plaats van uiterlijk. Het presteert beter dan de eerstvolgende baseline met +30,38 punten in cIoU en +40,03 punten in mIoU. Dit suggereert dat relationele supervisie essentieel is voor het identificeren van componenten die een dreiging vormen, zelfs als ze visueel niet als één enkel object herkenbaar zijn.
• Veiligheidsinferentie: Terwijl component-aanwezigheidsdetectie verzadigt over de meeste modellen (ongeveer 98%), vermindert Falcon de Mean Absolute Error (MAE) in de Scène Risiconiveau en Component Kopplingsrisico schatting aanzienlijk. Dit bevestigt dat de gestructureerde modellering van interacties tussen componenten de kalibratie van dreigingsbeoordelingen verbetert.
• Ablatie-studies:
  • Het verwijderen van de link prediction head veroorzaakt de grootste prestatiedaling, wat bevestigt dat het modelleren van relationele compatibiliteit de primaire drijfveer is voor functionele grounding.
  • Oracle-ablaties tonen aan dat hoewel perceptie een bottleneck is, het redeneermodule (SSA) substantiële ruimte biedt voor verbetering, wat de effectiviteit van de gestructureerde toestand-injectie valideert.

5. Betekenis en Claims

Het artikel beweert dat Falcon compositioneel veiligheidsredeneren vestigt als een onderscheidend evaluatieparadigma voor multimodale systemen. De belangrijkste bijdragen zijn:

1. Formalisering: Het definieert dreigingsbeoordeling in röntgenbeelden niet als objectdetectie, maar als een relationele eigenschap van gegronde componenten.
2. Benchmarking: Falcon-X is de eerste dataset die gezamenlijk dichte grounding, multimodale begrip en gestructureerd functioneel dreigingsredeneren ondersteunt, specifiek gericht op de uitdaging van gedemonteerde componenten.
3. Methodologische Vooruitgang: Door een expliciete gestructureerde veiligheidstoestand (aanwezigheid, koppelingen, risico) in het LLM te injecteren, beweegt Falcon verder dan impliciete aandachtmechanismen om relationeel consistente en veiligheidsbewuste redenering af te dwingen.

De auteurs concluderen dat hoewel bestaande modellen goed adapteren aan het uiterlijk van röntgenfoto's, ze moeite hebben met de functionele compatibiliteit van verspreide componenten. Falcon adresseert dit door dreigingsbeoordeling te transformeren van een impliciet aandacht-gebaseerd proces naar een gestructureerd inferentieprobleem, wat een geprincipeerde aanpak biedt voor veiligheidskritische analyse in complexe visuele omgevingen.