Resumen Técnico: Falcon – Ensamblaje Funcional y Lenguaje para el Razonamiento Composicional en Rayos X

1. Formulación del Problema: Razonamiento de Amenazas Composicional

Los modelos de visión-lenguaje (VLM) y los sistemas de seguridad de rayos X actuales son predominantemente centrados en objetos, enfocándose en la detección y descripción de entidades individuales (por ejemplo, una pistola o un cuchillo). Sin embargo, en el control de equipajes mediante rayos X para entornos de alta seguridad, las amenazas suelen surgir no de objetos únicos, sino de la compatibilidad funcional de componentes espacialmente dispersos. Los artefactos explosivos improvisados (IED) pueden ser transportados en un estado desmantelado, con baterías, detonadores y cargas explosivas separados dentro de una maleta. Individualmente benignos, estos componentes se vuelven peligrosos solo cuando son funcionalmente compatibles.

El artículo identifica una brecha en la investigación existente: si bien existen evaluaciones a gran escala para la detección de objetos, estas carecen de la capacidad de modelar el razonamiento de seguridad relacional. Los MLLM actuales dependen de una atención implícita sin una supervisión explícita sobre la compatibilidad entre componentes, lo que dificulta el razonamiento sobre si componentes separados espacialmente bajo una fuerte oclusión constituyen colectivamente una amenaza funcional.

Los autores formalizan este escenario como Razonamiento de Amenazas Composicional, donde la seguridad se modela como una propiedad relacional de regiones fundamentadas en lugar de un resultado de detección independiente.

2. Metodología: El Marco de Trabajo Falcon

Los autores proponen Falcon, un marco multimodal sensible a la segmentación diseñado para abstraer las características de las regiones en un estado de seguridad estructurado antes de la generación de lenguaje. La arquitectura impone la consistencia relacional entre la percepción y el razonamiento a través de una interfaz intermedia explícita.

2.1 Descripción General de la Arquitectura

Falcon integra cuatro componentes clave:

1. Percepción Sensible a la Segmentación:

   • Backbone Visual: Utiliza DINOv2 para extraer tokens de parches densos, preservando la resolución espacial crítica para componentes pequeños y desordenados.
   • Proponente de Regiones: Emplea un transformador agnóstico a la clase (RF-DETR) para generar propuestas de instancias, incluyendo cajas delimitadoras (bounding boxes), máscaras de segmentación y puntuaciones de confianza. La predicción de la máscara tiene prioridad sobre las cajas para manejar la superposición y el desorden en los rayos X.
   • Codificador de Regiones Sensible a la Máscara: Combina características alineadas con ROI y características agrupadas por máscara para crear incrustaciones (embeddings) de región alineadas con el lenguaje.

2. Modelado de Estado Funcional Estructurado (Structured Safety Adapter - SSA):

   • El SSA mapea las incrustaciones de región de tamaño variable en un estado funcional fijo e interpretable.
   • Slots de Componentes Basados en Consultas: Utiliza consultas aprendidas que corresponden a una taxonomía de componentes predefinida (por ejemplo, batería, detonador, carga principal) para agregar las incrustaciones de las regiones mediante atención.
   • Predicciones Estructuradas: El SSA predice tres señales específicas:
     • Presencia de Componentes ($\hat{p}$): Probabilidad binaria de cada tipo de componente.
     • Enlaces Funcionales de Par ($\hat{L}$): Probabilidades que indican la compatibilidad funcional entre pares de componentes (por ejemplo, batería-a-detonador).
     • Riesgo de la Escena ($\hat{r}$): Una puntuación de riesgo continua (de $0$a$1$) derivada de las incrustaciones de componentes estructurados y los enlaces inferidos, en lugar de tokens visuales brutos.

3. Condicionamiento de Seguridad Tokenizado:

   • Las predicciones estructuradas se convierten en "tokens de seguridad" y se inyectan en el Modelo de Lenguaje Grande (LLM) como una representación intermedia explícita. Esto condiciona al LLM sobre el estado de seguridad inferido antes de que genere una respuesta.

4. Razonamiento del LLM:

   • Utiliza Vicuna-7B como backbone. El modelo fusiona tokens de imagen, tokens de región, tokens de seguridad y tokens de texto. El LLM está congelado y se adapta mediante LoRA para el ajuste fino específico del dominio.

2.2 Estrategia de Entrenamiento

Falcon se entrena en tres etapas desacopladas:

1. Etapa 1 (Aprendizaje de Propuestas): Entrena al detector RF-DETR de manera agnóstica a la clase para producir máscaras de instancia y cajas de alta calidad.
2. Etapa 2 (Alineación Multimodal Estructurada): Congela el detector y el LLM. Entrena al SSA para predecir presencia, enlaces y riesgo, mientras supervisa conjuntamente la generación de lenguaje y la predicción de seguridad estructurada.
3. Etapa 3 (Ajuste Fino de Instrucciones): Habilita los adaptadores LoRA en el LLM para mejorar la adherencia a las instrucciones y la alineación entre las predicciones estructuradas y las explicaciones generadas.

3. El Benchmark Falcon-X

Para evaluar este problema, los autores introducen Falcon-X, un benchmark de aproximadamente 7,000 escaneos de rayos X de doble energía reales (expandidos a ~50,000 con contrafácticos) que presentan componentes de IED inertes y desmantelados.

• Características Únicas: A diferencia de los conjuntos de datos existentes (por ejemplo, SIXray, OPIXray) que se centran en objetos prohibidos intactos, Falcon-X modela componentes funcionales espacialmente dispersos.
• Anotaciones: Incluye fundamentación de instancias densas (cajas delimitadoras y máscaras precisas a nivel de píxel) y supervisión estructurada para la completitud de los componentes y el riesgo calibrado.
• Suite de Tareas: El benchmark evalúa tres capas jerárquicas:
  1. Percepción Fundamentada: Descripción de la escena, segmentación panóptica y segmentación de referencia bajo fuerte oclusión.
  2. Razonamiento Funcional Composicional: Identificación de componentes faltantes, puntuación de completitud funcional y fundamentación funcional de referencia.
  3. Inferencia de Seguridad Relacionalmente Consistente: Predicción del riesgo de la escena, estimación de enlaces de componentes y verificaciones de consistencia lógica.

4. Resultados Experimentales

Los experimentos comparan Falcon contra VLMs de propósito general y adaptados al dominio (por ejemplo, LISA, Groma, Sting-Bee) en Falcon-X.

• Comprensión de la Escena y VQA: Falcon está al nivel o supera ligeramente a los fuertes modelos de referencia en descripción de escenas y VQA estándar, lo que indica que el enfoque estructurado no degrada las capacidades multimodales generales.
• Fundamentación Composicional: Falcon demuestra una ventaja significativa en la Fundamentación Funcional de Referencia (RFG), donde el objetivo se define por composición funcional en lugar de apariencia. Supera al siguiente mejor modelo de referencia por +30.38 puntos en cIoU y +40.03 puntos en mIoU. Esto sugiere que la supervisión relacional es esencial para identificar componentes que forman una amenaza, incluso si no son visualmente distintos como un solo objeto.
• Inferencia de Seguridad: Mientras que la detección de presencia de componentes se satura en todos los modelos (aprox. 98%), Falcon reduce significamente el Error Absoluto Medio (MAE) en la estimación del Nivel de Riesgo de la Escena y el Riesgo de Enlace de Componentes. Esto confirma que el modelado estructurado de las interacciones de los componentes mejora la calibración de las evaluaciones de amenazas.
• Estudios de Ablación:
  • Eliminar la cabeza de predicción de enlaces causa la mayor caída en el rendimiento, confirmando que el modelado de la compatibilidad relacional es el principal motor de la fundamentación funcional.
  • Las ablaciones de tipo Oracle muestran que, si bien la percepción es un cuello de botella, el módulo de razonamiento (SSA) proporciona un margen sustancial de mejora, validando la eficacia de la inyección de estado estructurado.

5. Significado y Reivindicaciones

El artículo afirma que Falcon establece el razonamiento de seguridad composicional como un paradigma de evaluación distinto para los sistemas multimodales. Sus principales contribuciones son:

1. Formalización: Define la evaluación de amenazas en imágenes de rayos X no como detección de objetos, sino como una propiedad relacional de los componentes fundamentados.
2. Benchmarking: Falcon-X es el primer conjunto de datos que soporta conjuntamente la fundamentación densa, la comprensión multimodal y el razonamiento de amenazas funcionales estructurados, abordando específicamente el desafío de los componentes desmantelados.
3. Avance Metodológico: Al inyectar un estado de seguridad estructurado explícito (presencia, enlaces, riesgo) en el LLM, Falcon va más allá de los mecanismos de atención implícitos para forzar un razonamiento relacionalmente consistente y consciente de la seguridad.

Los autores concluyen que, si bien los modelos existentes se adaptan bien a la apariencia de las imágenes de rayos X, tienen dificultades con la compatibilidad funcional de los componentes dispersos. Falcon aborda esto transformando la evaluación de amenazas de un proceso implícito basado en la atención a un problema de inferencia estructurada, ofreciendo un enfoque principista para el análisis en entornos visuales complejos y de seguridad crítica.