기술 요약: HorusEye – 비상 시각 분석을 위한 동적 주의 집중으로서의 언어

1. 문제 정의

긴급 구조 작업은 시각 언어 모델(VLM)을 훈련시키는 데 사용되는 깨끗하고 밝은 분포에서 크게 벗어난 시각적 조건 하에서 빈번하게 발생합니다. 안개, 연기, 그리고 색상을 제거하고 질감을 변화시키는 열화상 이미지의 근본적인 모달리티 변화와 같은 요인들은 컴퓨터 비전 시스템에 결정적인 과제를 제기합니다. VLM이 표준적인 시각적 이해에서 강력한 능력을 입증해 왔지만, 이러한 저하된 조건에서의 강건성(robustness)은 아직 정량화되지 않았습니다.

본 연구가 다루는 핵심 연구 질문은 다음과 같습니다: 자연어 피드백이 저하된 비상 조건 하에서 실시간으로 시각적 분석 작업을 재평가하고 정교화하는 동적 주의 집중 메커니즘으로서 어느 정도까지 역할을 할 수 있는가? 저자들은 자연어 프롬프트가 혼란스러운 현장에서 인간 구조대원이 전달하는 구두 지시와 유사하게, 모델의 시각적 처리를 가이드하는 외부 신호로 작용할 수 있다고 제안합니다.

2. 방법론

2.1 데이터셋: RefCOCO-Degraded

저하된 성능을 체계적으로 평가하기 위해, 저자들은 RefCOCO 데이터셋의 3,811개 기본 이미지를 기반으로 한 15,244개의 이미지로 구성된 RefCOCO-Degraded 벤치마크 데이터셋을 구축했습니다. 각 기본 이미지는 네 가지 조건으로 체계적으로 저하되었습니다:

• Clean (깨끗함): 수정되지 않은 원본 이미지 (베이스라인).
• Fog (안개): 색상은 유지하면서 대비를 줄이기 위해 코슈미더(Koschmieder) 가시성 모델을 사용하여 시뮬레이션됨.
• Smoke (연기): 국소적 변화와 회색조 변화를 도입하기 위해 펄린 노이즈(Perlin noise)를 이용한 입자 기반 폐쇄(occlusion)를 사용하여 시뮬레이션됨.
• Thermal (열화상): RGB 이미지를 그레이스케일 강도 값으로 변환하여 모든 색상 정보를 제거하여 시뮬레이션됨.

2.2 평가된 모델

다양한 아키텍처적 접근 방식을 대표하는 다섯 가지 VLM이 평가되었습니다:

• Gemini 2.0 Flash: 독점적 멀티모달 아키텍처.
• Qwen2-VL-2B: 오픈 소스, 인스트럭션 튜닝된 VLM (2B 파라미터).
• BLIP-2: 고정된 이미지 인코더와 LLM을 연결하기 위해 Q-Former를 활용.
• LLaVA-1.6: 시각적 특징을 LLM 임베딩 공간으로 직접 투영.
• Kosmos-2: 명시적인 그라운딩(grounding) 능력을 갖춘 그라운딩 모델.

2.3 실험 파이프el

조사는 네 가지 순차적인 연구 질문(RQ)을 다루는 5단계 파이프라인을 따랐습니다:

1. RQ1 (시각적 그라운딩 베이스라인): 네 가지 조건 전반에 걸친 시각적 그라운딩 성능(Intersection over Union, IoU 사용)의 베이스라인 저하를 측정했습니다.
2. RQ2 (동적 주의 집중으로서의 언어 피드백): 반복적인 3라운드 피드백 프로토콜을 테스트했습니다. 초기 예측이 실패한 경우($IoU < 0.5$), 모델은 바운딩 박스를 수정하기 위해 방향성 언어 피드백(예: "왼쪽을 더 보세요")을 받았습니다. 측정 지표는 라운드 1에서 라운드 3까지의 IoU 증가율이었습니다.
3. RQ3 (건강 VQA 일반화): 자세 분류(서 있음, 앉아 있음, 누워 있음)를 평가하여, 명시적인 공간적 주의 집중(관심 영역 크롭을 통해)이 건강 관련 작업으로 일반화되는지 테스트했습니다. 이는 전체 이미지(Full Image) 입력과 크롭된 이미지(Cropped Image) 입력을 비교했습니다.
4. RQ4 (환각 분석): 저하된 조건에서 환각의 위험을 정량화하기 위해 **환각 점수(H-Score)**를 사용했습니다. 이 점수는 조작 횟수, 과잉 확신 페널티, 불확실성 보너스를 결합하여 모델이 더 위험해졌는지(확신에 찬 오류), 아니면 적절히 불확실해졌는지를 결정합니다.

3. 주요 기여

1. RefCOCO-Degraded 벤치마크: 안개, 연기, 열화상 저하를 모두 포함하여 비상 상황 VLM 평가를 위해 특별히 설계된 체계적인 벤치마크 데이터셋을 도입했습니다.
2. 모델 의존적 언어 피드백의 효용성: 언어 피드백이 보편적인 해결책이 아님을 보여주는 경험적 증거를 제시했습니다. Gemini는 반복 피드백을 통해 열화상 조건에서 +47.3%의 개선을 달당한 반면, Qwen2-VL은 동일한 프로토콜 하에서 -5.1%의 성능 저하를 겪었습니다.
3. "열화상의 역설 (The Thermal Paradox)": RGB 조건에서는 성능을 향상시키는(예: Gemini의 경우 +4%) 크롭 전략이 열화상 이미지에서는 파괴적인 실패(-26%로 Gemini의 경우)를 초래한다는 사실을 발견했습니다. 이는 열화상 이미지가 색상과 질감이 사라진 상태에서 맥락적 단서(예: 지평선, 주변 사물)에 의존한다는 점을 강조합니다.
4. BLIP-2의 안전성 식별: BLIP-2를 비상 배포에 유독 위험한 모델로 식별했습니다. 다른 모델들이 저하 상황에서 불확실성을 높인 것과 달리, BLIP-2는 환각이 증가(+0.34 H-Score 증가)하고 헤징(hedging, 확답을 피하는 표현) 언어가 전혀 없어, 확신을 가지고 정보를 조작할 가능성이 높았습니다.

4. 주요 결과

• 시각적 그라운딩 (RQ1): 열화상 조건이 가장 심각한 저하를 일으켰습니다. Qwen2-VL은 열화상 조건에서 그라운딩 정확도의 **63.6%**를 잃은 반면, Gemini는 **37.7%**를 잃었습니다. 안개와 연기는 완만한 저하(10–15% IoU 하락)를 일으켰습니다.
• 언어 피드백 (RQ2):
  • Gemini: 저하의 심각도와 피드백 효용성 사이에 강한 양의 상관관계를 보였습니다. 개선 폭은 +0.5%(Clean)에서 **+47.3%(Thermal)**까지 나타났습니다 가.
  • Qwen2-VL: Clean/Fog 조건에서는 양의 이득(+18.7%, +17.0%)을 보였으나, Thermal 조건에서는 -5.1% 저하되어, 피드백 메커니즘이 저가시성 열화상 시나리오에서 모델을 혼란스럽게 함을 나타냈습니다.
• 크롭 전략 (RQ3):
  • Gemini: Clean 조건에서는 도움이 되었으나(+4%), Thermal 조건에서는 성능을 파괴했습니다(-26%).
  • BLIP-2: 크롭에 대해 독보적으로 강건했으며, 모든 조건에서 집중된 주의를 통해 이득을 얻었습니다(+12% ~ +16%).
  • Qwen2-VL: RGB 조건에서 크롭에 의해 일관되게 피해를 입었습니다(-12%).
• 환각 (RQ4):
  • BLIP-2: **위험(DANGER)**으로 분류되었습니다. 열화상 저하 시 H-Score가 크게 증가했으며, 불확실성을 표현하지 못했습니다(불확실성 점수 0.00).
  • Gemini & Qwen2-VL: **더 안전함(SAFER)**으로 분류되었습니다. 두 모델 모두 저하된 조건에서 불확실성 표현을 적절히 높여, 확신에 찬 환각의 위험을 줄였습니다.

5. 의의 및 주장

본 논문은 자연어가 VLM을 위한 동적 주의 집중 메커니즘으로 기능할 수 있지만, 그 성공 여부는 특정 모델 아키텍처와 시각적 조건에 결정적으로 달려 있다고 주장합니다.

• 보편적 해결책은 없음: 한 모델에서 성공적인 기술(예: Gemini의 반복 피드백, BLIP-2의 크롭)이 다른 모델로 전이될 것이라고 가정할 수 없습니다. 실제로 동일한 메커니즘이 모델에 따라 상반된 결과(개선 vs 저하)를 낼 수 있습니다.
• 열화상 이미지에서 맥락은 필수적임: "열화상의 역설"은 열화상 이미지 처리에 있어 전체 이미지 프로세싱이 필수적임을 확립합니다. 크롭은 색상과 질감이 부재한 상황에서 자세 분류와 같은 작업을 수행하는 데 필요한 공간적, 맥락적 단서를 제거합니다.
• 안전성 함의: 비상 시스템 설계자에게 모델 선택은 안전이 직결된 결정입니다. 저자들은 피드백 대응력과 불확실성 보정 능력을 고려하여 열화상 조건에는 Gemini를 추천하며, 환각 완화 조치가 구현되지 않는 한 BLIP-2의 배포를 명시적으로 경고합니다.

본 연구는 비상 시스템 설계자가 일반적인 VLM 강건성에 대한 가설에 의존하기보다, 배포 전에 각 고유한 모델-조건 조합에 대해 언어 피드백 메커니즘과 주의 집중 전략을 엄격하게 검증해야 한다고 결론짓습니다. RefCOCO-Degraded 벤치마크와 실험 프로토콜은 안전 중심 애플리케이션을 위한 강건한 VLM 연구의 토대를 제공합니다.