기술 요약: TriCLE – 에지 배포를 위한 삼중 모드 시각-언어 추론 기반 미세 분류

1. 문제 정의

본 논문은 메모리, 연산 능력 및 간헐적인 연결성으로 인해 자원이 엄격하게 제한되는 에지 플랫폼(예: 드론)에서 정밀한 항공기 분류 작업을 수행하는 과제를 다룹니다. 표준 RGB 전용 인식 모델 및 범용 시각-언어 모델(VLM)은 다음과 같은 두 가지 주요 이유로 인해 이러한 환경에서 어려움을 겪습니다:

1. 모달리티 부족: 고성능 항공기 인식은 열화상(FLIR) 및 기하학적(LiDAR) 데이터로부터 이득을 얻지만, 정렬된 RGB-열화상-LiDAR 데이터셋은 매우 드뭅로 존재합니다.
2. 에지 제약 사항: 기존의 다중 모달 인지 방법은 일반적으로 보정된 센서와 쌍을 이룬 주석(annotation)을 가정하며, 이는 획득하기 어렵고 에지 배포에는 너무 계산 집단적입니다.

목표는 표면적인 외형뿐만 아니라 공학적으로 유의미한 속성(추진 방식, 기체 계열, 크기, 설계 시대 등)을 기준으로 항공기를 구별할 수 있는 시스템을 구축하는 것입니다.

2. 방법론

제안된 시스템인 TriCLE는 단일 RGB 입력을 기반으로 작동하도록 설계된 응용 중심의 삼중 모드 VLM 파이프라인입니다. 방법론은 네 가지 뚜렷한 단계로 진행됩니다.

A. 합성 삼중 모드 데이터 생성

정렬된 다중 센서 데이터가 부족하기 때문에, TriCLE는 단일 RGB 이미지($I_{rgb}$)로부터 누락된 모달리티를 합성합니다:

• 합성 열화상 ($I_{th}$): 구조를 보존하는 FLIR 스타일의 열화상 뷰는 수정된 FLUX.1-dev 트랜스포머를 사용하여 생성됩니다. 생성 과정은 기체 형상을 유지하기 위해 ControlNet(Canny 엣지에 조건화됨)에 의해 가이드되며, 엔진 및 나셀 주변의 열 구배를 시뮬레이션하기 위해 경험적 FLIR 데이터셋으로 학습된 LoRA 레이어를 사용합니다.
• 의사(Pseudo)-LiDAR ($I_{lidar}$): 합성 열화상 이미지를 사용하여 **Dense Prediction Transformer (DPT)**로부터 조밀한 단안 깊이 지도를 추정합니다. 이 깊이 지도는 3D 포인트 클라우드로 역투영된 후, 표준 VLM 비전 인코더와 호환되는 직교 깊이 투영 이미지로 변환됩니다.
• 결과: 동기화된 삼중 모드 세트 $T = (I_{rgb}, I_{th}, I_{lidar})$가 학습 및 추론을 위해 생성됩니다.

B. 모델 아키텍처 및 미세 조정

시스템은 컴팩트한 Qwen3-VL-4B 백본을 활용합니다. 에지 배포 및 특정 추론 작업을 위해 이 모델을 적응시키고 파괴적 망각(catastical forgetting) 없이 운영하기 위해 저자들은 다음을 채택합니다:

• RPSFT (회전 보존 지도 미세 조정): 사전 학습된 가중치 행렬을 회전시켜 분포 외(OOD) 지식을 저하시킬 수 있는 표준 SFT 대신, RPSFT는 베이스 모델을 동결하고 마지막 12개 레이어의 어텐션 투영 가중치($W_q, W_v$)만을 업데이트합니다. 이러한 업데이트는 파라미터 드리프트가 원래의 사전 학습된 매니폴드 내에 머물도록 SVD 기반 제약 조건을 사용하여 정규화됩니다.

C. 정책 정렬 전략

모델의 추론을 전문가용 항공기 분류 체계(추진, 기체 등으로 그룹화)와 정렬하기 위해 세 가지 강화 학습 전략을 평가합니다:

1. GRPO (Group Relative Policy Optimization): 여러 완성본을 샘플링하고 형식과 정확도에 따라 점수를 부여하며, 그룹 내 상대적 이점을 사용합니다.
2. GSPO (Group Sequence Policy Optimization): 토큰 단위가 아닌 전체 생성 시퀀스에 대해 확률 비율을 계산합니다. 이는 국소적 토큰 붕괴를 방지하고 전역적으로 일관된 추론 경로를 장려하는 것을 목표로 합니다.
3. DAPO (Direct Advantage Policy Optimization): 선택된 응답과 거부된 응답 사이의 쌍별 선호도 손실을 최적화하며, 너무 긴 생성을 필터링하기 위해 절단 마스크(truncation masks)를 사용합니다.

D. 배포 최적화

정렬된 모델은 8GB VRAM 타겟 내에 적합하도록 4비트 양자화 및 어텐션 메모리 최적화를 거쳐 에지 장치에서의 실시간 처리를 가능하게 합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 에지 지향적 삼중 모드 파이프라인: 자원이 제한된 환경을 위해 특별히 설계된 RGB, 합성 열화상 및 의사-LiDAR 입력을 사용하는 완전한 항공기 분류 시스템입니다.
2. 합성 센싱 절차: 단안 이미지를 통해 정렬된 FLIR 스타일 및 깊이 투영 뷰를 생성하는 방법으로, 실제 다중 센서 데이터가 없을 때 제어된 보조 단서를 제공합니다.
3. 배포 중심 평가: 정책 정렬 전략(GRPO, GSPO, DAPO), 구조화된 출력 유효성, 제로샷 일반화, 양자화 효과 및 지연 시간을 포함하는 종합적인 분석을 제공합니다.

4. 실험 결과

시스템은 800개의 단일 클래스 항공기 이미지와 100개의 홀드아웃 테스트 파티션으로 구성된 큐레이션된 데이터셋으로 평가되었습니다.

• 정책 최적화 성능:
  • GSPO가 가장 우수한 전략으로 나타났습니다. 검증 세트에서 88.33%의 정확도와 0.91 가중 F1 점수를 달성했습니다.
  • 홀드아웃 테스트 파티션에서 GSPO는 78.00%의 정확도와 0.793 가중 F1을 달성하는 동시에 94.00%의 파싱 가능한 출력 형식을 유지했습니다.
  • 토큰 수준 방법(GRGR, DAPO)은 홀드아웃 세트에서 낮은 정확도(67.00%)와 낮은 형식 준수율(85.00%)을 보였으며, 이는 낯선 입력에 대한 표현 루프(representational loops)에 취약함을 나타냅니다.
• RPSFT vs. 표준 SFT: 표준 SFT는 더 높은 분포 내(in-distribution) 정확도(63.75% 대 55.00%)를 달성했지만, 파괴적 망각을 겪었습니다. RPSFT는 일반적인 추론 능력을 보존하여 ScienceQA 벤치마크에서 90.16%의 OOD 정확도를 달성했습니다.
• 에지 성능: 4비트 양자화 후, 모델은 8GB 배포 타겟에 부합하며 각 삼중 모드 세트를 1.48초 내에 처리합니다.
• 교차 도메인 일반화: DSERT-RoLL 도로 장면 데이터셋(제로샷) 테스트 시, GSPO 정렬 모델은 100% 형식 성공률을 유지했으며 카운팅 작업(예: 보행자에 대한 MAE ~0.54)에서 견고함을 보여주었으나, 도메인 변화로 인해 정확한 클래스 매칭은 여전히 도전 과제로 남았습니다.

5. 의의 및 주장

본 논문은 TriCLE를 해석 가능하고 에지 실행이 가능한 항공기 분류를 위한 실용적인 프로토타입으로 포지셔닝합니다. 그 의의는 다음과 같습니다:

• 합성 다중 모달 융합: 실제 정렬된 센서가 없는 경우에도 RGB로부터 유도된 합성 열화상 및 의사-LiDAR 데이터를 사용하여 효과적인 삼중 모드 추론 시스템을 학습할 수 있음을 입증했습니다.
• 시퀀스 수준 최적화: 에지 장치에서의 긴 형태 생성 작업에서 일관된 추론과 구조적 유효성을 유지하기 위해 시퀀스 수준의 정책 최적화(GSPO)가 토큰 수준 방법보다 더 효과적임을 보여줍니다.
• 실현 가능성: 복잡한 삼중 모드 추론을 4B 파라미터 모델로 압축하여 8GB VRAM 내에서 2초 미만의 지연 시간으로 실행할 수 있으며, 이는 실제 에지 배포에 적합함을 의미합니다.

인정된 한계점:
저자들은 TriCLE이 프로토타입임을 명시적으로 밝힙니다. 열화상 및 LiDAR 입력은 합성된 것이며 생성기 아티팩트(generator artifacts)를 포함할 수 있으므로, 보정된 하드웨어를 대체할 수는 없습니다. 평가는 단일 객체 이미지에 국한되어 있어 다수의 항공기가 있는 장면을 완전히 포착하지 못합니다. 도로 장면에 대한 교차 도메인 결과는 항공기 분류 능력의 검증보다는 구문(syntax) 견고성에 대한 스트레스 테스트 역할을 합니다. 향후 연구에는 실제 공동 등록(co-registered) 센서 스트림에 대한 검증이 필요합니다.