기술 요약: Falcon – X-ray에서의 구성적 추론을 위한 기능적 어셈블리 및 언어

1. 문제 정의: 구성적 위협 추론 (Compositional Threat Reasoning)

현재의 시각-언어 모델(VLM)과 X-ray 보안 시스템은 주로 개별 객체(예: 총 또는 칼)를 탐지하고 설명하는 데 집중하는 객체 중심적(object-centric) 방식입니다. 그러나 안전이 필수적인 X-ray 수하물 검사에서 위협은 단일 객체가 아니라 공간적으로 분산된 구성 요소들의 기능적 호환성에서 발생하는 경우가 많습니다. 급조폭발물(IED)은 배터리, 기폭장치, 폭약 등이 가방 안에 분해된 상태로 운반될 수 있습니다. 이러한 구성 요소들은 개별적으로는 무해하지만, 기능적으로 호환될 때 비로소 위험해집니다.

본 논문은 기존 연구의 공백을 지적합니다. 대규모 벤치마크가 객체 탐지에는 존재하지만, **관계적 안전 추론(relational safety inference)**을 모델링하는 능력은 부족하다는 점입니다. 현재의 멀티모달 거대 언어 모델(MLLM)은 명시적인 상호 구성 요소 간의 호환성에 대한 감독 없이 암묵적인 어텐션(attention)에 의존하며, 이로 인해 공간적으로 떨어져 있고 심한 폐쇄(occlusion)가 발생한 구성 요소들이 집합적으로 기능적 위협을 구성하는지 추론하기 어렵습니다.

저자들은 이 설정을 **구성적 위협 추론(Compositional Threat-Reasoning)**으로 공식화하며, 여기서 안전은 독립적인 탐지 결과가 아닌, 접지된 영역(grounded regions)의 관계적 속성으로 모델링됩니다.

2. 방법론: Falcon 프레임워크

저자들은 언어 생성을 수행하기 전, 영역 특징을 구조화된 안전 상태(safety state)로 추상화하도록 설계된 세그멘테이션 인식 멀티모달 프레임워크인 Falcon을 제안합니다. 이 아키텍처는 명시적인 중간 인터페이스를 통해 인지와 추론 사이의 관계적 일관성을 강제합니다.

2.1 아키텍처 개요

Falcon은 네 가지 핵심 구성 요소로 통합됩니다:

1. 세그멘테이션 인식 인지 (Segmentation-Aware Perception):

   • 시각적 백본 (Visual Backbone): DINOv2를 사용하여 밀집된 패치 토큰을 추출함으로써, 작고 복잡한 구성 요소에 중요한 공간 해상도를 보존합니다.
   • 영역 제안자 (Region Proposer): 클래스 불가지론적 트랜스포머(RF-DETR)를 사용하여 바운딩 박스, 세그멘테이션 마스크, 신뢰도 점수를 포함한 인스턴스 제안을 생성합니다. X-ray의 중첩과 혼잡을 처리하기 위해 바운딩 박스보다 마스크 예측을 우선시합니다.
   • 마스크 인식 영역 인코더 (Mask-Aware Region Encoder): ROI 정렬된 특징과 마스크 풀링된 특징을 결কে하여 언어와 정렬된 영역 임베딩을 생성합니다.

2. 구조화된 기능 상태 모델링 (Structured Functional State Modeling - SSA):

   • SSA는 가변 크기의 영역 임베딩을 고정되고 해석 가능한 기능 상태로 매핑합니다.
   • 쿼리 기반 구성 요소 슬롯 (Query-Based Component Slots): 사전 정의된 구성 요소 분류 체계(예: 배터리, 기폭장치, 주 화약)에 대응하는 학습된 쿼리를 사용하여 어텐션을 통해 영역 임베딩을 집계합니다.
   • 구조화된 예측 (Structured Predictions): SSA는 세 가지 특정 신호를 예측합니다:
     • 구성 요소 존재 여부 ($\hat{p}$): 각 구성 요소 유형의 이진 확률.
     • 쌍방향 기능적 연결 ($\hat{L}$): 구성 요소 쌍 간의 기능적 호환성을 나타내는 확률 (예: 배터리-기폭장치).
     • 장면 위험도 ($\hat{r}$): 원시 시각적 토큰이 아닌, 구조화된 구성 요소 임베딩과 추론된 연결로부터 도출된 연속적인 위험 점수 (0에서 1 사이).

3. 토큰화된 안전 조건화 (Tokenized Safety Conditioning):

   • 구조화된 예측값은 "안전 토큰"으로 변환되어 명시적인 중간 표현으로서 LLM에 주입됩니다. 이는 LLM이 응답을 생성하기 전에 추론된 안전 상태에 기반하여 조건을 설정하도록 합니다.

4. LLM 추론 (LLM Reasoning):

   • Vicuna-7B를 백본으로 사용합니다. 모델은 이미지 토큰, 영역 토큰, 안전 토큰, 텍스트 토큰을 융합합니다. LLM은 동결(frozen)된 상태이며, 도메인 특화 미세 조정을 위해 LoRA를 사용하여 적응됩니다.

2.2 학습 전략

Falcon은 세 단계의 분리된 단계로 학습됩니다:

1. 단계 1 (제안 학습 - Proposal Learning): RF-DETR 디텍터를 클래스 불가지론적 방식으로 학습시켜 고품질의 인스턴스 마스크와 박스를 생성하도록 합니다.
2. 단계 2 (구조화된 멀티모달 정렬 - Structured Multimodal Alignment): 디텍터와 LLM을 동결합니다. SSA가 존재 여부, 연결, 위험도를 예측하도록 학습시키며, 동시에 언어 생성과 구조화된 안전 예측을 공동으로 감독합니다.
3. 단계 3 (지시어 미세 조정 - Instruction Fine-Tuning): LLM의 LoRA 어댑터를 활성화하여 지시 이행 능력과 구조화된 예측 및 생성된 설명 사이의 정렬을 개선합니다.

3. Falcon-X 벤치마크

이 문제를 평가하기 위해, 저자들은 약 7,000개의 실제 듀얼 에너지 X-ray 스캔(역사실적 데이터를 포함하여 약 50,000개로 확장)을 특징으로 하는, 비활성 상태의 분해된 IED 구성 요소를 포함하는 Falcon-X 벤치마크를 도입합니다.

• 고유한 특징: 온전한 형태의 금지 품목에 집중하는 기존 데이터셋(예: SIXray, OPIXray)과 달리, Falcon-X는 공간적으로 분산된 기능적 구성 요소를 모델링합니다.
• 주석 (Annotations): 조밀한 인스턴스 그라운딩(바운딩 박스 및 픽셀 단위 마스크)과 구성 요소의 완전성 및 보정된 위험도에 대한 구조화된 감독 정보를 포함합니다.
• 태스크 스위트 (Task Suite): 벤치마크는 세 가지 계층적 레이어를 평가합니다:
  1. 접지된 인지 (Grounded Perception): 장면 캡셔닝, 파노픽 세그멘테이션, 그리고 심한 폐쇄 상황에서의 참조 세그멘테이션.
  2. 구성적 기능 추론 (Compositional Functional Reasoning): 누락된 구성 요소 식별, 기능적 완전성 점수 산출, 참조 기능적 그라운딩.
  3. 관계적으로 일관된 안전 추론 (Relationally Consistent Safety Inference): 장면 위험도 예측, 구성 요소 연결 위험도 추정, 논리적 일관성 검사.

4. 실험 결과

실험에서는 Falcon을 일반 목적 및 도메인 적응형 VLM(예: LISA, Groma, Sting-Bee)과 함께 Falcon-X에서 비교합니다.

• 장면 이해 및 VQA: Falcon은 표준 캡셔닝 및 VQA에서 강력한 베이스라인과 대등하거나 약간 상회하는 성능을 보이며, 이는 구조화된 접근 방식이 일반적인 멀티모달 능력을 저하시키지 않음을 나타냅니다.
• 구성적 그라운딩 (Compositional Grounding): Falcon은 외형이 아닌 기능적 구성을 통해 대상이 정의되는 **참조 기능적 그라운딩 (Referring Functional Grounding, RFG)**에서 상당한 우위를 보입니다. Falcon은 차상위 베이스라인보다 cIoU에서 +30.38 포인트, mIoU에서 +40.03 포인트 더 높은 성능을 기록했습니다. 이는 관계적 감독이 시각적으로 하나의 객체로 뚜렷하게 구분되지 않더라도 위협을 형성하는 구성 요소를 식별하는 데 필수적임을 시사합니다.
• 안전 추론: 구성 요소 존재 탐지는 모든 모델에서 포화 상태(약 98%)에 도달하지만, Falcon은 장면 위험 수준 및 구성 요소 연결 위험 추정에서의 평균 절대 오차(MAE)를 크게 줄였습니다. 이는 구성 요소 간의 상호작용에 대한 구조적 모델링이 위협 평가의 보정 능력을 향상시킨다는 것을 확인시켜 줍니다.
• 절제 연구 (Ablation Studies):
  • **연결 예측 헤드 (link prediction head)**를 제거했을 때 가장 큰 성능 저하가 발생했으며, 이는 관계적 호환성을 모델링하는 것이 기능적 그라운딩의 주요 동력임을 확인해 줍니다.
  • 오라클 절제 연구(Oracle ablations)에 따르면, 인지가 병목 구간이긴 하지만, 추론 모듈(SSA)이 개선을 위한 상당한 여지(headroom)를 제공한다는 것을 보여주며, 구조화된 상태 주입의 효용성을 입증했습니다.

5. 의의 및 주장

본 논문은 Falcon이 멀티모달 시스템을 위한 구성적 안전 추론을 별개의 평가 패러다임으로 확립한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 공식화: X-ray 이미지에서의 위협 평가를 단순한 객체 탐지가 아닌, 접지된 구성 요소들의 관계적 속성으로 정의했습니다.
2. 벤치마킹: Falcon-X는 조밀한 그라운딩, 멀티모달 이해, 그리고 구조화된 기능적 위협 추론을 공동으로 지원하는 최초의 데이터셋으로, 특히 분해된 구성 요소를 다루는 문제를 해결했습니다.
3. 방법론적 진보: 명시적인 구조화된 안전 상태(존재 여부, 연결, 위험도)를 LLM에 주입함으로써, Falcon은 암묵적인 어텐션 메커니즘을 넘어 관계적으로 일관되고 안전 인식이 가능한 추론을 강제합니다.

저자들은 기존 모델들이 X-ray 이미지의 외형에는 잘 적응하지만, 분산된 구성 요소들의 기능적 호환성에는 어려움을 겪는다고 결론짓습니다. Falcon은 위협 평가를 암묵적인 어텐션 기반 프로세스에서 구조화된 추론 문제로 전환함으로써 이를 해결하며, 복잡한 시각 환경에서의 안전 중심 분석을 위한 원칙적인 접근 방식을 제공합니다.