Resumo Técnico: Falcon – Montagem Funcional e Linguagem para Raciocínio Composicional em Raios-X

1. Formulação do Problema: Raciocínio de Ameaça Composicional

Os atuais modelos de visão-linguagem (VLMs) e sistemas de segurança de raio-X são predominantemente centrados em objetos, focando na detecção e descrição de entidades individuais (ex: uma arma ou uma faca). No entanto, em inspeções de bagagem por raio-X de alta segurança, as ameaças muitas vezes não surgem de objetos únicos, mas da compatibilidade funcional de componentes espacialmente dispersos. Dispositivos Explosivos Improvisados (IEDs) podem ser transportados em um estado desmontado, com baterias, detonadores e cargas explosivas separados dentro de uma mala. Individualmente benignos, esses componentes tornam-se perigosos apenas quando funcionalmente compatíveis.

O artigo identifica uma lacuna na pesquisa existente: embora existam benchmarks de larga escala para detecção de objetos, eles carecem da capacidade de modelar o raciocínio de segurança relacional. Os atuais Modelos de Linguagem de Grande Escala Multimodais (MLLMs) dependem de atenção implícita sem supervisão explícita sobre a compatibilidade entre componentes, tornando difícil raciocinar se componentes espacialmente separados sob forte oclusão constituem coletivamente uma ameaça funcional.

Os autores formalizam este cenário como Raciocínio de Ameaça Composicional, onde a segurança é modelada como uma propriedade relacional de regiões fundamentadas, em vez de um resultado de detecção independente.

2. Metodologia: O Framework Falcon

Os autores propõem o Falcon, um framework multimodal consciente de segmentação projetado para abstrair características de regiões em um estado de segurança estruturado antes da geração de linguagem. A arquitetura impõe consistência relacional entre percepção e raciocínio através de uma interface intermediária explícita.

2.1 Visão Geral da Arquitetura

O Falcon integra quatro componentes principais:

1. Percepção Consciente de Segmentação:

   • Backbone Visual: Utiliza DINOv2 para extrair tokens de patches densos, preservando a resolução espacial crítica para componentes pequenos e desordenados.
   • Propositor de Região: Emprega um transformer agnóstico à classe (RF-DETR) para gerar propostas de instâncias, incluindo caixas delimitadoras (bounding boxes), máscaras de segmentação e escores de confiança. A predição de máscara é priorizada em relação às caixas delimitadoras para lidar com a sobreposição e o tumulto do raio-X.
   • Codificador de Região Consciente de Máscara: Combina características alinhadas ao ROI com características agrupadas por máscara para criar embeddings de região alinhados à linguagem.

2. Modelagem de Estado Funcional Estruturado (Structured Safety Adapter - SSA):

   • O SSA mapeia embeddings de região de tamanho variável em um estado funcional fixo e interpretável.
   • Slots de Componentes Baseados em Queries: Utiliza queries aprendidas correspondentes a uma taxonomia de componentes predefinida (ex: bateria, detonador, carga principal) para agregar embeddings de região via atenção.
   • Predições Estruturadas: O SSA prevê três sinais específicos:
     • Presença de Componente ($\hat{p}$): Probabilidade binária de cada tipo de componente.
     • Links Funcionais de Par ($\hat{L}$): Probabilidades que indicam a compatibilidade funcional entre pares de componentes (ex: bateria-para-detonador).
     • Risco da Cena ($\hat{r}$): Um escore de risco contínuo ($0$a$1$) derivado dos embeddings de componentes estruturados e dos links inferidos, em vez de tokens visuais brutos.

3. Condicionamento de Segurança Tokenizado:

   • As predições estruturadas são convertidas em "tokens de segurança" e injetadas no Modelo de Linguagem de Grande Escala (LLM) como uma representação intermediária explícita. Isso condiciona o LLM no estado de segurança inferido antes de gerar uma resposta.

4. Raciocínio do LLM:

   • Utiliza o Vicuna-7B como backbone. O modelo funde tokens de imagem, tokens de região, tokens de segurança e tokens de texto. O LLM é congelado e adaptado usando LoRA para ajuste fino específico do domínio.

2.1 Estratégia de Treinamento

O Falcon é treinado em três estágios desacoplados:

1. Estágio 1 (Aprendizado de Proposta): Treina o detector RF-DETR de maneira agnóstica à classe para produzir máscaras de instância e caixas de alta qualidade.
2. Estágio 2 (Alinhamento Multimodal Estruturado): Congela o detector e o LLM. Treina o SSA para prever presença, links e risco, enquanto supervisiona conjuntamente a geração de linguagem e a predição de segurança estruturada.
3. Estágio 3 (Ajuste Fino de Instrução): Habilita adaptadores LoRA no LLM para melhorar a adesão às instruções e o alinhamento entre as predições estruturadas e as explicações geradas.

3. O Benchmark Falcon-X

Para avaliar este problema, os autores introduzem o Falcon-X, um benchmark de aproximadamente 7.000 varreduras de raio-X de dupla energia reais (expandido para ~50.000 com contrafatuais) apresentando componentes de IED inertes e desmontados.

• Características Únicas: Ao contrário dos datasets existentes (ex: SIXray, OPIXray) que focam em itens proibidos intactos, o Falcon-X modela componentes funcionais espacialmente dispersos.
• Anotações: Inclui fundamentação de instância densa (caixas delimitadoras e máscaras precisas por pixel) e supervisão estruturada para completude de componentes e risco calibrado.
• Suíte de Tarefas: O benchmark avalia três camadas hierárquicas:
  1. Percepção Fundamentada: Legenda de cena, segmentação panóptica e segmentação de referência sob forte oclusão.
  2. Raciocínio Funcional Composicional: Identificação de componentes ausentes, pontuação de completude funcional e fundamentação funcional de referência.
  3. Inferência de Segurança Relacionalmente Consistente: Predição de risco da cena, estimativa de link de componente e verificações de consistência lógica.

4. Resultados Experimentais

Experimentos comparam o Falcon contra VLMs de propósito geral e adaptados ao domínio (ex: LISA, Groma, Sting-Bee) no Falcon-X.

• Compreensão de Cena e VQA: O Falcon performa em nível ou ligeiramente acima das bases fortes em legendagem padrão e VQA, indicando que a abordagem estruturada não degrada as capacidades multimodais gerais.
• Fundamentação Composicional: O Falcon demonstra uma vantagem significativa em Fundamentação Funcional de Referência (RFG), onde o alvo é definido pela composição funcional em vez da aparência. Ele supera a próxima melhor base em +30.38 pontos em cIoU e +40.03 pontos em mIoU. Isso sugere que a supervisão relacional é essencial para identificar componentes que formam uma ameaça, mesmo que não sejam visualmente distintos como um único objeto.
• Inferência de Segurança: Enquanto a detecção de presença de componentes satura entre os modelos (aprox. 98%), o Falcon reduz significativamente o Erro Médio Absoluto (MAE) na estimativa do Nível de Risco da Cena e do Risco de Link de Componente. Isso confirma que a modelagem estruturada das interações entre componentes melhora a calibração das avaliações de ameaça.
• Estudos de Ablação:
  • Remover a cabeça de predição de link causa a maior queda de desempenho, confirmando que a modelagem da compatibilidade relacional é o principal motor da fundamentação funcional.
  • Ablações de Oracle mostram que, embora a percepção seja um gargalo, o módulo de raciocínio (SSA) fornece um espaço substancial para melhoria, validando a eficácia da injeção de estado estruturado.

5. Significância e Alegações

O artigo afirma que o Falcon estabelece o raciocínio de segurança composicional como um paradigma de avaliação distinto para sistemas multimodais. Suas principais contribuições são:

1. Formalização: Define a avaliação de ameaças em imagens de raio-X não como detecção de objetos, mas como uma propriedade relacional de componentes fundamentados.
2. Benchmarking: O Falcon-X é o primeiro dataset a suportar conjuntamente fundamentação densa, compreensão multimodal e raciocínio de ameaça funcional estruturado, abordando especificamente o desafio de componentes desmontados.
3. Avanço Metodológico: Ao injetar um estado de segurança estruturado explícito (presença, links, risco) no LLM, o Falcon vai além dos mecanismos de atenção implícita para impor um raciocínio relacionalmente consistente e consciente de segurança.

Os autores concluem que, embora os modelos existentes se adaptem bem à aparência das imagens de raio-X, eles têm dificuldade com a compatibilidade funcional de componentes dispersos. O Falcon aborda isso transformando a avaliação de ameaças de um processo baseado em atenção implícita em um problema de inferência estruturada, oferecendo uma abordagem fundamentada para análise crítica de segurança em ambientes visuais complexos.