🤖 machine learning

Mechanistic Interpretability-Guided Selective Fine-Tuning of Vision-Language Models for Centimeter-Level Flood Depth Estimation

이 논문은 기계론적 해석 가능성(mechanistic interpretability)에 기반하여 시각-언어 모델의 선택적 미세 조정을 도입하며, 이는 홍수 수심 추정을 위해 결정적인 특정 교차 주의(cross-attention) 레이어를 식별함으로써 밀집 미세 조정(dense fine-tuning) 대비 학습 가능한 파라미터 수를 86~88% 줄이면서도 센티미터 수준의 정확도를 달성한다.

원저자: Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nafis Fuad, Xiaodong Qian, Dongxiao Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 그림으로 된 이야기를 읽는 법을 가르치려는 아주 똑똑한 로봇을 상상해 보세요. 이 로봇은 시각-언어 모델(VLM)로 알려져 있으며, 수백만 권의 책을 읽고 수십억 장의 사진을 본 명석한 학생과 같지만, 실제로 침수된 거리에 가본 적은 없습니다. 이 로봇은 자동차가 어떻게 생겼는지, 그리고 물이 어떻게 생겼는지는 각각 알고 있지만, 물에 잠겨 있는 자동차를 보고 정확히 물의 깊이가 얼마나 되는지 측정하는 법은 배우지 못했습니다. 이것은 우리 도시들에게 큰 문제입니다. 폭우가 내리면 물이 차올라 자동차를 가두거나 전력을 끊을 수 있지만, 현재 우리의 내비게이션 앱은 도로가 "열려 있는지" 또는 "닫혀 있는지"만을 알려줄 수 있습니다. 앱은 물이 2cm 깊이인지(살짝 튀는 정도) 아니면 20cm 깊이인지(자동차 엔진에 위험한 정도)를 알려주지는 못합니다. 이를 해결하기 위해 과학자들은 인간이 그곳에 자를 들고 서 있지 않아도 로봇이 센티미터 단위까지 정밀하게 측정할 수 있도록 가르쳐야 합니다. 문제는 이 거대한 로봇을 가르치는 것이 보통 엄청난 양의 컴퓨팅 파워와 산더미 같은 실제 세상의 사진들을 필요로 한다는 것인데, 홍수는 위험하고 예측 불가능하기 때문에 이러한 사진을 구하기가 매우 어렵습니다.

이 논문은 연구진이 "FloodLlama"라는 이름의 로봇을 숙련된 홍수 탐정으로 가르친 이야기를 들려줍니다. 먼저, 그들은 Unreal Engine 5를 사용하여 거대한 가상 비디오 게임 세계를 구축했으며, 비가 오는 상황, 햇빛이 비치는 상황, 밤의 상황에서 자동차가 있는 281만 장의 사진을 채워 넣었습니다. 이때 물의 높이는 마른 상태부터 40cm 깊이까지 다양했습니다. 그들은 이 중 약 61만 장의 사진을 사용하여 로봇을 훈련시켰습니다. 로봇은 자동차를 보고 물의 깊이를 놀라운 정확도로 추측하는 법을 배웠으며, 평균적으로 0.40cm 오차 범위 내의 답을 얻어냈습니다. 하지만 여기서 영리한 부분이 등장합니다. 연구진은 단순히 로봇을 똑똑하게 만드는 데서 멈추지 않고, 로봇이 어떻게 생각하고 있는지 알고 싶어 했습니다. 그들은 "기계적 해석 가능성(mechanistic interpretability)"이라 불리는 특별한 도구 세트를 사용하여 로봇의 뇌 내부를 들여다보았습니다. 그들은 로봇이 전체 과업을 한 번에 배우는 것이 아님을 발견했습니다. 대신, 로봇은 두 단계를 거칩니다. 첫째, 사진을 보는 방식을 재배열하고(마치 어질러진 책상을 정리하는 것처럼), 그다음 특정 층(layer 23)에서 갑자기 그 사진을 숫자로 변환하는 법을 깨닫습니다.

이 비밀스러운 로봇 뇌의 지도를 사용하여, 연구진은 "FloodLlama-MI5"와 "FloodLlama-MI6"라는 두 가지 새로운 초효율 버전의 모델을 만들었습니다. 로봇의 뇌 전체를 훈련시키는 대신, 그들은 중요한 작업을 수행하고 있다고 판단되는 특정 층들만을 가르쳤습니다. 이것은 마치 학생에게 수학 문제를 풀 때 답이 실제로 계산되는 특정 단계에만 집중하여 가르치는 것과 같았으며, 나머지 부분은 무시하는 방식이었습니다. 결과는 어떠했을까요? 이 새로운 모델들은 기존 모델보다 86%에서 88% 더 작고 훈련 속도도 빠르면서도, 여전히 믿기 힘들 정도로 정확했습니다. 실제 홍수 사진으로 테스트했을 때, 가장 효율적인 버전인 MI6는 98.62%의 확률로 정답을 맞혔으며, 이는 이전의 최고 시스템을 큰 차이로 앞지른 성적입니다. 이 논문은 이러한 거대 모델이 정확히 어떻게 학습하는지를 이해함으로써, 지능을 잃지 않으면서도 훨씬 더 효율적으로 모델을 만들 수 있음을 시사하며, 이는 우리가 운전해서 물속으로 들어가기 전에 물이 정확히 얼마나 깊은지 알려주는 더 안전하고 스마트한 내비게이션 시스템을 위한 길을 열어줍니다.

기술 요약: 센티미터 단위 침수 깊이 추정을 위한 기계적 해석 가능성 기반 선택적 미세 조정

1. 문제 정의

도시 홍수는 교통 인프라에 심각한 위협을 가하지만, 현재의 운영 시스템(예: 구글 지도, Waze)은 정량적인 깊이 측정보다는 이진 폐쇄 보고(binary closure reports)에 의존하고 있습니다. 이러한 이진 접근 방식은 다음과 같은 신흥 안전 필수 애플리케이션을 지원하는 데 한계가 있습니다:

전기 자동차(EV): 15~25cm 깊이에서 열 폭주 위험이 발생합니다.
자율 주행 자동차(AV): 현재의 인지 스택이 통과 가능한 수면과 통과 불가능한 수면을 구분할 수 없으므로, 운행 설계 영역(ODD)을 정의하기 위해 정밀한 깊이 추정이 필요합니다.
안전 물리(Safety Physics): 0.56~1.5mm의 수막만으로도 수막현상이 발생할 수 있으며, 1mm의 수막은 타이어와 노면 사이의 마찰력을 최대 61%까지 감소시킬 수 있습니다.

기존의 비전 기반 솔루션은 상당한 한계를 보입니다:

참조 객체 방법(Reference-object methods): 약 12cm의 MAE(평균 절대 오차)를 기록하며, 객체가 가려질 경우 실패합니다.
객체 탐지 방법(Object-detection methods): 깊이를 연속 변수가 아닌 이산적인 범주로 취급합니다.
제로샷 대규모 멀티모달 모델(Zero-shot LMMs): 개방형 추론 능력을 제공하지만, 오차가 크고(MAE > 8cm) 독점적인 블랙박스 형태로 작동하여 안전 필수 배포에 필요한 해석 가능성을 제공하지 못합니다.

연속적인 센티미터 해상도의 깊이 추정을 위해 오픈 소스 시각-언어 모델(VLM)을 미세 조정하는 것과, 이러한 모델이 해당 능력을 어떻게 습득하는지에 대한 기계적 이해에 관한 문헌적 공백이 존재합니다.

2. 방법론

A. 합성 데이터 생성

실제 라벨링된 홍수 데이터의 부족을 극복하기 위해, 저자들은 Unreal Engine 5를 사용하여 2.81M 이미지의 합성 코퍼스를 생성했습니다. 이 데이터셋은 다음을 포함합니다:

단일 차량 서브셋: 7가지 차량 유형, 9개의 이산적 깊이 단계(0~40cm, 5cm 간격), 4가지 날씨 조건을 포함한 1.73M 이미지.
혼합 차량 서브셋: 폐쇄(occlusion) 및 시각적 복잡성을 시뮬레이션하기 위해 1cm 간격(1~40cm)으로 변화하는 다중 차량이 포함된 1.08M 이미지.
충실도 평가: Kolmogorov-Smirnov(KS) 통계량을 사용하여 sim-to-real 전이를 검증했으며, 혼합 차량 서브셋이 단일 차량 서브셋보다 실제 이미지와 더 높은 정렬도를 보였습니다.

B. 베이스라인 모델: FloodLlama-Dense

저자들은 QLoRA(4-bit NF4 양자화 및 LoRA 어댑터)를 사용하여 LLaMA 3.2-11B Vision Instruct를 미세 조정했습니다.

아키텍처: 이 모델은 동결된 ViT-H/14 비전 인코더와 40개 층의 디코더를 결합합니다. LoRA 어댑터( $r=16, \alpha=16$ )는 40개 모든 어텐션 모듈(32개 셀프 어텐션 + 8개 크로스 어텐션 레이어)의 Q/K/V/O 프로젝션에 삽입되었습니다.
훈련 전략: 두 단계의 점진적 커리큘럼이 채택되었습니다:
1. 1단계: 기본 비전-언어 매핑을 확립하기 위해 균형 잡힌 340k 이미지 서브셋(단일 차량 데이터)에서 미세 조정 수행.
2. 2단계: 폐쇄를 처리하고 연속 회귀를 정교화하기 위해 270k 이미지(9개의 순차적 청크로 처리된 혼합 차량 데이터)를 활용한 누적 미세 조정 수행.
파라미터: 54.4M 학습 가능 파라미터 (기본 모델의 0.49%).

C. 기계적 해석 가능성 분석

깊이를 학습하는 방식과 효율적인 미세 조정 대상을 식별하기 위해, 저자들은 훈련된 FloodLlama-Dense에 네 가지 해석 가능성 기법을 적용했습니다:

선형 프로빙(Linear Probing): 동결된 은닉 상태(hidden states)에 대해 릿지 회귀를 훈련했습니다. 결과는 **레이어 23(L23)**에서 급격한 상전이를 보여주었으며, 여기서 깊이가 선형적으로 디코딩 가능해졌습니다 ( $R^2$ 가 -0.355에서 +0.513으로 급증).
로짓 렌즈(Logit Lens): 숫자 형태의 깊이 토큰이 L23의 인코딩 전환 이후인 L33과 L38에서 나타남을 밝혔습니다.
중심 커널 정렬(Centered Kernel Alignment, CKA): 표현 드리프트(representational drift)를 측정했습니다. L13–L22 레이어는 상당한 드리프트(시각적 특징 재구조화)를 보였으나 깊이를 인코딩하지는 못했습니다. L23–L38 레이어는 기본 모델과 높은 유사성을 유지하면서도 깊이 정보를 담고 있었습니다.
크로스 어텐션 엔트로피(Cross-Attention Entropy): 어텐션 집중도를 측정했습니다. L13은 가장 급격한 엔트로피 감소(공간적 선택성)를 보였으나 인코딩 능력은 없었습니다.
LoRA 가중치 분석: L18, L23, L28, L33, L38이 대부분의 가중치 업데이트를 흡수했음을 확인했습니다.

핵심 발견: 모델은 두 단계 적응 패턴을 보입니다: 초기-중기 레이어(L13–L22)는 시각적 표현을 재구조화하고, 후기 레이어(L23부터 시작)는 깊이 정보를 인코딩합니다.

D. 선택적 미세 조정: FloodLlama-MI5 및 MI6

해석 가능성 결과를 활용하여, 특정 크로스 어텐션 레이어만을 미세 조정하는 파라미터 효율적 변형 모델을 개발했습니다:

FloodL명 FloodLlama-MI5: 5개 레이어(L8, L18, L23, L33, L38)를 미세 조정합니다.
FloodLlama-MI6: 6개 레이어(MI5 세트 + L28)를 미세 조정합니다.
효율성: 이 모델들은 밀집형 베이스라인 대비 학습 가능한 파라미터를 86–88% 줄이면서도 동일한 2단계 훈련 커리큘럼을 유지합니다.

3. 주요 결과

A. 합성 테스트 성능

보류된 16,000개의 혼합 차량 테스트 세트에 대해:

FloodLlama-Dense: MAE = 0.40 cm, RMSE = 1.97 cm, **Acc@5cm = 97.59%**를 달이트했습니다.
FloodLlama-MI5: MAE = 0.80 cm, Acc@5cm = 95.1%.
FloodLlama-MI6: MAE = 0.78 cm, Acc@5cm = 95.8%.
관찰: 밀집형 모델이 가장 낮은 절대 오차를 달성했지만, 희소 변형 모델들은 훨씬 적은 훈련 비용으로 임계 오차 범위인 ±5 cm 허용 오차 내에서 운영 정확도를 유지했습니다.

B. 실세계 벤치마크 (vs. STURM-FloodDepth)

이산적 범주를 출력하는 STURM-FloodDepth 베이스라인과 비교하여 300개의 실세계 데이터셋에서 평가했습니다:

FloodLlama-MI6 (Chain-of-Thought 프롬프트 사용): 98.62%의 전체 정확도와 깊은 침수 수준(>30 cm)에 대해 100.00%의 정확도를 달성했습니다.
STURM-FloodDepth: 86.61%의 전체 정확도와 깊은 침수 수준에서 88.27%의 정확도를 기록했습니다.
통계적 유의성: 약 12 퍼센트 포인트의 개선은 겹치지 않는 95% 신뢰 구간을 통해 확인되었습니다.
프롬프트 민감도: 생각의 사슬(Chain-of-Thought, CoT) 프로프트가 가장 높은 정확도와 깊은 침수에 대한 최적의 보정(calibration)을 제공한 반면, "Simple" 프롬프트는 깊은 침수를 과소 예측하는 경향이 있었습니다.

4. 기여

데이터셋: 센티미터 해상도의 깊이 라벨과 차량 유형 및 날씨의 체계적 변화를 포함한 2.81M 이미지의 합성 홍수 코퍼스 구축.
FloodLlama-Dense: 연속적인 센티미터 해상도의 홍수 깊이 회귀를 위해 미세 조정된 최초의 오픈 소스 VLM으로, 합성 데이터에서 서브 센티미터 MAE를 달성함.
기계적 통찰: 선형 프로빙, 로짓 렌즈, CKA, 엔트로피를 적용하여 홍수 모델에 대한 기계적 해석성을 적용한 최초의 사례이며, L23을 핵심적인 깊이 인코딩 전환 레이어로 식별하고 "재구조화 후 인코딩" 적응 패턴을 밝혀냄.
효율적 모델: 해석 가능성 분석을 통해 유도된 FloodLlama-MI5 및 MI6를 개발하여, 실세계 일반화 성능을 유지하면서 파라미터를 86–88% 감소시킴.

5. 의의 및 주장

본 논문은 기계적 해석 가능성이 교통 인지 작업의 파라미터 효율적 미세 조정(PEFT)을 위한 실질적인 설계 동인이 될 수 있다고 주장합니다. 특정 레이어가 작업 인코딩(L23)과 특징 재구조화(L13–L22)를 담당함을 식별함으로써, 저자들은 다음을 입증했습니다:

고정밀 회귀를 위해 모든 레이어를 전체 미세 조정할 필요는 없습니다.
해석 가능성 분석에 의해 유도된 선택적 미세 조정은 실세계 일반화 능력을 희생하지 않으면서 계산 비용을 거의 90% 줄일 수 있습니다.
적절히 미세 조정되고 해석된 오픈 소스 VLM은 전통적인 컴퓨터 비전 방법과 독점적인 제로샷 모델을 능가하여, 차세대 차량 안전 시스템에 필요한 데시미터 미만의 정밀도를 제공할 수 있습니다.

저자들은 단일 VLM 아키텍처(LLaMA 3.2)에 대한 의존도와 실세계 테스트 세트에서의 극한 저조도 및 깊은 침수 시나리오의 과소 표현 등의 한계를 언급하며, 향후 연구에서 이러한 해석 가능성 프로토콜을 다른 아키텍처와 더 넓은 환경 조건으로 확장할 것을 제안합니다.