Sintesi Tecnica: Falcon – Assemblaggio Funzionale e Linguaggio per il Ragionamento Composizionale nei raggi X

1. Formulazione del Problema: Ragionamento sulla Minaccia Composizionale

I modelli visione-linguaggio (VLM) e i sistemi di sicurezza a raggi X attuali sono prevalentemente centrati sugli oggetti, focalizzandosi sul rilevamento e la descrizione di singole entità (ad esempio, una pistola o un coltello). Tuttavia, nella sicurezza dei bagagli tramite raggi X, critica per la sicurezza, le minacce derivano spesso non da singoli oggetti, ma dalla compatibilità funzionale di componenti spazialmente dispersi. Gli ordigni improvvisati (IED) possono essere trasportati in uno stato smontato, con batterie, detonatori e cariche esplosive separati all'interno di una borsa. Singolarmente innocui, questi componenti diventano pericolosi solo quando sono funzionalmente compatibili.

Il documento identifica una lacuna nella ricerca esistente: mentre esistono benchmark su larga scala per il rilevamento di oggetti, essi mancano della capacità di modellare il ragionamento sulla sicurezza relazionale. Gli attuali Modelli Linguistici Multimodali Grandi (MLLM) si affidano a un'attenzione implicita senza una supervisione esplicita sulla compatibilità tra i componenti, rendendo difficile ragionare se componenti separati spazialmente sotto forte occlusione costituiscano collettivamente una minaccia funzionale.

Gli autori formalizzano questo scenario come Ragionamento sulla Minaccia Composizionale, dove la sicurezza è modellata come una proprietà relazionale di regioni ancorate piuttosto che come un esito di rilevamento indipendente.

2. Metodologia: Il Framework Falcon

Gli autori propongono Falcon, un framework multimodale consapevole della segmentazione progettato per astrarre le caratteristiche delle regioni in uno stato di sicurezza strutturato prima della generazione del linguaggio. L'architettura impone la coerenza relazionale tra percezione e ragionamento attraverso un'interfaccia intermedia esplicita.

2.1 Panoramica dell'Architettura

Falcon integra quattro componenti chiave:

1. Percezione Consapevole della Segmentazione:

   • Backbone Visivo: Utilizza DINOv2 per estrarre token di patch densi, preservando la risoluzione spaziale critica per i piccoli componenti ingombrati.
   • Propositore di Regioni: Impiega un transformer agnostico rispetto alla classe (RF-DETR) per generare proposte di istanza, inclusi bounding box, maschere di segmentazione e punteggi di confidenza. La predizione della maschera è prioritari rispetto ai bounding box per gestire la sovrapposizione e l'ingombro nei raggi X.
   • Encoder di Regione Consapevole della Maschera: Combina le caratteristiche allineate ai ROI con le caratteristiche aggregate dalle maschere per creare embedding di regione allineati al linguaggio.

2. Modellazione dello Stato Funzionale Strutturato (Structured Safety Adapter - SSA):

   • L'SSA mappa gli embedding delle regioni di dimensioni variabili in uno stato funzionale fisso e interpretabile.
   • Slot di Componente basati su Query: Utilizza query apprese corrispondenti a una tassonomia di componenti predefinita (ad esempio, batteria, detonatore, carica principale) per aggregare gli embedding delle regioni tramite attenzione.
   • Predizioni Strutturate: L'SSA predice tre segnali specifici:
     • Presenza del Componente ($\hat{p}$): Probabilità binaria di ogni tipo di componente.
     • Collegamenti Funzionali a Coppie ($\hat{L}$): Probabilità che indicano la compatibilità funzionale tra coppie di componenti (ad esempio, batteria-detonatore).
     • Rischio della Scena ($\hat{r}$): Un punteggio di rischio continuo (da $0$a$1$) derivato dagli embedding dei componenti strutturati e dai link inferiti, piuttosto che dai token visivi grezzi.

3. Condizionamento di Sicurezza Tokenizzato:

   • Le predizioni strutturate vengono convertite in "token di sicurezza" e iniettate nel Large Language Model (LLM) come una rappresentazione intermedia esplicita. Questo condiziona l'LLM sullo stato di sicurezza inferito prima che generi una risposta.

4. Ragionamento dell'LLM:

   • Utilizza Vicuna-7B come backbone. Il modello fonde i token dell'immagine, i token della regione, i token di sicurezza e i token del testo. L'LLM è congelato e adattato tramite LoRA per il fine-tuning specifico del dominio.

2.2 Strategia di Addestramento

Falcon è addestrato in tre fasi separate:

1. Fase 1 (Apprendimento delle Proposte): Addestra il detector RF-DETR in modo agnostico rispetto alla classe per produrre maschere di istanza e box di alta qualità.
2. Fase 2 (Allineamento Multimodale Strutturato): Congela il detector e l'LLM. Addestra l'SSA per predire presenza, link e rischio, supervisionando congiuntamente la generazione del linguaggio e la predizione della sicurezza strutturata.
3. Fase 3 (Fine-Tuning delle Istruzioni): Abilita gli adapter LoRA nell'LLM per migliorare l'aderenza alle istruzioni e l'allineamento tra le predizioni strutturate e le spiegazioni generate.

3. Il Benchmark Falcon-X

Per valutare questo problema, gli autori introducono Falcon-X, un benchmark di circa 7.000 scansioni a doppia energia reali (estese a ~50.000 con controfatti) che presentano componenti IED inerti e smontati.

• Caratteristiche Uniche: A differenza dei dataset esistenti (ad esempio, SIXray, OPIXray) che si concentrano su articoli proibiti intatti, Falcon-X modella componenti funzionali spazialmente dispersi.
• Annotazioni: Include l'ancoraggio denso delle istanze (bounding box e maschere precise al pixel) e la supervisione strutturata per la completezza dei componenti e il rischio calibrato.
• Suite di Task: Il benchmark valuta tre livelli gerarchici:
  1. Percezione Ancorata: Descrizione della scena, segmentazione panottica e segmentazione di riferimento sotto forte occlusione.
  2. Ragionamento Funzionale Composizionale: Identificazione dei componenti mancanti, punteggio di completezza funzionale e ancoraggio funzionale di riferimento.
  3. Inferenza della Sicurezza Relazionalmente Coerente: Predizione del rischio della scena, stima del link funzionale e controlli di coerenza logica.

4. Risultati Sperimentali

Gli esperimenti confrontano Falcon con VLM generici e adattati al dominio (ad esempio, LISA, Groma, Sting-Bee) su Falcon-X.

• Comprensione della Scena e VQA: Falcon ottiene prestazioni pari o leggermente superiori ai forti baseline nella descrizione della scena e nel VQA, indicando che l'approccio strutturato non degrada le capacità multimodali generali.
• Ancoraggio Composizionale: Falcon dimostra un vantaggio significativo nell'Ancoraggio Funzionale di Riferimento (RFG), dove il target è definito dalla composizione funzionale piuttosto che dall'aspetto. Supera il secondo miglior baseline di +30.38 punti in cIoU e +40.03 punti in mIoU. Ciò suggerisce che la supervisione relazionale è essenziale per identificare i componenti che formano una minaccia, anche se non sono visivamente distinti come un singolo oggetto.
• Inferenza della Sicurezza: Mentre il rilevamento della presenza dei componenti satura tra i modelli (circa 98%), Falcon riduce significativamente l'Errore Assoluto Medio (MAE) nella stima del Livello di Rischio della Scena e del Rischio del Link tra Componenti. Ciò conferma che la modellazione strutturata delle interazioni tra componenti migliora la calibrazione delle valutazioni delle minacce.
• Studi di Ablazione:
  • Rimuovere la testa di predizione dei link causa il più grande calo di prestazioni, confermando che la modellazione della compatibilità relazionale è il principale motore dell'ancoraggio funzionale.
  • Le ablazioni Oracle mostrano che, sebbene la percezione sia un collo di bottiglia, il modulo di ragionamento (SSA) fornisce un ampio margine di miglioramento, convalidando l'efficacia dell'iniezione dello stato strutturato.

5. Significato e Rivendicazioni

Il documento afferma che Falcon stabilisce il ragionamento sulla sicurezza composizionale come un paradigma di valutazione distinto per i sistemi multimodali. I suoi principali contributi sono:

1. Formalizzazione: Definisce la valutazione della minaccia nelle immagini a raggi X non come rilevamento di oggetti, ma come una proprietà relazionale dei componenti ancorati.
2. Benchmarking: Falcon-X è il primo dataset che supporta congiuntamente l'ancoraggio denso, la comprensione multimodale e il ragionamento strutturato sulla minaccia funzionale, affrontando specificamente la sfida dei componenti smontati.
3. Avanzamento Metodologico: Iniettando uno stato di sicurezza strutturato esplicito (presenza, link, rischio) nell'LLM, Falcon va oltre i meccanismi di attenzione implicita per imporre un ragionamento relazionalmente coerente e consapevole della sicurezza.

Gli autori concludono che, sebbene i modelli esistenti si adattino bene all'aspetto delle immagini a raggi X, essi faticano con la compatibilità funzionale dei componenti dispersi. Falcon affronta questo problema trasformando la valutazione della minaccia da un processo implicito basato sull'attenzione a un problema di inferenza strutturata, offrendo un approccio rigoroso per l'analisi della sicurezza in ambienti visivi complessi.