기술 요약: 기하학적 붕괴(Geometric Collapse): 비전 모델이 물리적 인과성을 검증하지 못할 때 발생하는 현상

1. 문제 정의

대규모 자기지도 학습(SSL)과 비전 트랜스포머(ViT)의 최근 발전은 단안 깊이 추정(monocular depth estimation) 및 표면 법선 예측(surface normal prediction)과 같은 조밀한 기하학적 예측 작업의 정확도를 크게 향 향상시켰다. 그러나 표준 벤치마크에서의 높은 평균 정확도가 모델이 추론 과정에서 **물리적 타당성(physical plausibility)**을 검증하는 능력을 갖추었음을 보장하지는 않는다.

본 연구가 다루는 핵심 문제는 현대의 조밀한 예측기들이 유효한 3D 구조(예: 물체 경계, 폐쇄 윤곽선)에 대응하는 시각적으로 두드한 에지 단서와, 물리적으로 뒷받침되지 않는 단서(예: 반사, 조명 아티팩트, 또는 가짜 그래디언트)를 구분할 수 있는지 여부이다. 저자들은 현재의 모델들이 물리적 설명이 가능한지를 검증하지 않은 채, 그저 강한 에지 형태의 신호가 나타나면 이를 기하학적 증거로 취급할 수 있다고 가설을 세웠다. 이는 **기하학적 붕괴(Geometric Collapse)**라고 명명된 실패 모드로 이어진다. 이 현상에서는 국소적으로 뒷받침되지 않는 에지가 단순히 국소적인 아티팩트에 머무는 것이 아니라, 전체 장면 전반에 걸쳐 전파되는 전역적 환각(global hallucinations)과 구조적 불일치를 유발한다.

2. 방법론: 스크램블 에지(Scrambled Edges)

이 가설을 테스트하기 위해, 저자들은 물리적 선험 지식(physical priors)을 위반하면서도 시각적으로 두드러진 에지 단서를 주입하도록 설계된 제어된 반사실적 진단 섭동(counterfactual diagnostic perturbation)인 **스크램블 에지(Scrambled Edges)**를 도입한다.

2.1. 섭동 프로토콜

이 방법은 입력 이미지에서 에지 세그먼트를 추출한 후, 이를 기하학적으로 일관되지 않은 위치로 재배치하기 위해 아핀 변환(평행 이동, 회전, 암전화)을 적용하는 과정을 포함한다.

• 평행 이동(Translation): 에지를 매끄러운 영역으로 이동시켜 **표면 연속성(surface continuity)**을 위반한다.
• 암전화(Darkening): 타당한 광원 없이 대비를 생성하여 **조명 일관성(illumination coherence)**을 위반한다.
• 회전(Rotation): 접합 기하학(특히 T-junction)을 무너뜨려 **폐쇄 인과성(occlusion causality, 깊이 순서)**을 위반한다.

변형된 이미지는 이러한 변환된 에지들을 사용하여 원본 이미지를 마스킹함으로써 생성되며, 이를 통해 시각적 에너지는 높게 유지하면서도 3D 설명은 유효하지 않게 만든다.

2.2. 대조군(Control Groups)

물리적 선험 지식의 위반과 일반적인 고주파 노이즈 또는 에지 희소성의 효과를 분리하기 위해, 저자들은 두 가지 엄격한 대조군을 사용한다.

1. 에너지 매칭 고주파 노이즈(Energy-Matched High-Pass Noise): 스크램블 에지와 동일한 제곱평균제곱근(RMS) 진폭을 가진 구조화되지 않은 노이즈를 추가한다. 이는 붕괴가 단순히 고주파 콘텐츠에 의해 발생하는지를 테스트한다.
2. 에지 형태 노이즈(Edge-Shaped Noise): 에지의 위치를 재배치하거나 회전시키지 않고, 원래의 에지 위치에 노이즈나 색상 변화를 적용한다. 이는 기하학적 위반과 독립적으로, 단순히 에지 형태의 존재 자체가 붕합을 일으키는지 테스트한다.

2.3. 평가 지표

본 연구는 스무딩 아티팩트로 인해 왜곡될 수 있는 표준 정답(Ground Truth, GT) 지표를 넘어 다음 사항에 집중한다.

• 안정성(Stability): 깨끗한 입력과 섭동된 입력 간의 편차($RMSE_\Delta$)를 측정한다.
• 붕괴 비율(Collapse Ratio): 스크램블 에지 하에서의 편차를 에너지 매칭 노이즈 하에서의 편도로 나눈 비율이다.
• 스필오버 분석(Spillover Analysis): 섭동된 영역을 깨끗한 예측값으로 교체하는 "오라클 복구(Oracle Repair)" 메커니즘을 사용한다. 만약 오류가 마스크 외부에서도 남아 있다면, 이는 전역적 전파를 의미한다.
• 구조적 지표(Structural Metrics): 경계 충실도를 측정하기 위한 Edge F1 점수를 사용하여, 픽셀 단위 깊이 오차보다 구조적 붕괴에 더 민감하게 반응하도록 한다.
• 다중 뷰 일관성(Multi-View Consistency): KITTI 데이터셋에 대한 포토메트릭 재투영 오차를 평가하여 3D 기하학적 일관성을 확인한다.

3. 주요 결과

3.1. 부정적 창발(Negative Emergence)과 SSL의 역설

CNN, ViT, 그리고 SSL 기반 아키텍처(MiDaS, DepthAnything v1/v2 포함) 전반에 걸쳐, 모델들은 부정적 창발을 보인다. 즉, 구조화되지 않은 에너지 매칭 노이즈에는 비교적 안정적이지만, 스크램블 에지 하에서는 심각한 붕괴를 겪는다.

• 규모: 스크램블 에지는 에너지 매칭 노이즈에 비해 깨끗한 예측값으로부터 최대 3.2배 더 큰 편차를 유도한다.
• 일반성: 이러한 실패는 대규모 SSL 사전 학습을 거친 모델(예: DepthAnything V2)을 포함한 다양한 아키텍처에서 공통적으로 나타나며, 이는 스케일링만으로는 물리적 검증 능력의 창발적 발현을 보장할 수 없음을 시사한다.

3.2. 메커니즘: 폐쇄 인과성의 역할

절제 연구(Ablation studies) 결과, 폐쇄 인과성(특히 T-junction 및 깊이 순서의 파괴)이 붕괴의 지배적인 동인임이 밝혀졌다.

• 폐쇄 인과성을 위반했을 때 가장 높은 붕와 비율을 보였다(예: DepthAnything V2의 경우 3.18배).
• 표면 연속성이나 조명 일관성을 위반하는 것도 붕괴를 일으키지만, 그 정도는 상대적으로 낮았다.
• 에지 형태 노이즈(위반 없는 구조)는 최소한의 붕괴만을 유도하였는데, 이는 붕쇄를 일으키는 것이 단순한 에지의 존재가 아니라 기하학적 불일치임을 확인해 준다.

3.3. 전역적 전파 및 복구의 한계

스크램블 에지에 의해 유도된 오류는 국소적이지 않으며 전역적으로 전파된다.

• 오라클 복구 한계(Oracle Repair Limit): 오염된 영역을 완벽하게 식별하여 정답(GT)으로 교체하더라도, 모델의 출력은 오직 **47%**의 오류만을 회복한다. 나머지 53%의 오류는 섭동되지 않은 영역에 존재하며, 이는 모델이 지원되지 않는 단서를 전역적으로 일관되지만 잘못된 3D 가설("유령 벽", Phantom Walls)으로 통합했음을 보여준다.
• 지표의 역설(Metric Paradox): 표준적인 전역 지표(예: GT-RMSE)는 종종 이러한 실패를 감지하지 못한다. 어떤 경우에는 스크램블 에지 하에서 GT-RMSE가 오히려 개선되기도 하는데, 이는 모델이 픽셀 단위 오차를 줄이기 위해 더 매끄러운 예측을 내놓으면서도 결정적인 경계 충실도는 상실했기 때문이다. 반면, 구조적 지표인 Edge F1은 심각한 하락(최대 66.7%)을 보인다.

3.4. 다중 뷰 일관성

KITTI 데이터셋에 대한 연구에 따르면 "다중 뷰 지표의 역설"이 발견된다. 스크램블 에지 하에서 포토메트릭 재투영 오차(외관 기반 일관성)는 감소할 수 있어 마치 "더 나은" 정렬을 하는 것처럼 보일 수 있지만, 실제 깊이-깊이 일관성 오차는 급격히 증가한다(예: MiDaS CNN의 경우 +410%). 이는 외관 기반 지표가 근본적인 기하학적 구조가 붕괴되었을 때 매우 오도될 수 있음을 확인시켜 준다.

4. 의의 및 주장

본 논문은 현재의 조밀한 예측기들이 물리적으로 뒷받침되지 않는 에지 단서를 격리할 수 있는 신뢰할 만한 메커니즘이 부족하다는 것에 대한 제어된 행동적 증거를 제공한다고 주장한다.

• 스케일링의 한계: 본 연구 결과는 스케일링과 SSL 사전 학습이 자동으로 견고한 물리적 추론으로 이어진다는 가정을 반박한다. 모델은 벤치마크에서 매우 높은 정확도를 보일 수 있지만, 특정 물리적으로 불가능한 에지 단서에는 매우 취약할 수 있다.
• 인간 지각과의 차이: 인간의 시각은 지원되지 않는 에지를 국소적인 이상 현상으로 취급하고 이를 "격리"하는 것으로 보이는 반면, 현재의 모델은 이러한 단서들을 전역적인 기하학적 해석에 통합하여 장면 전체의 환각을 유도한다.
• 평가 격차: 저자들은 표준적인 평가 지표가 이러한 실패 모드를 탐지하는 데 불충분하다고 주장한다. 대신 경계 인식 지표와 추론 시점의 물리적 검증을 조사하는 진단 도구의 사용을 권장한다.
• 향후 방향: 저자들은 누락된 메커니즘이 **단서 선택(cue selection)**이라고 제안한다. 미래의 모델은 단순히 사후에 예측을 매끄럽게 만드는 것이 아니라, 물리적 지지(연속성, 조명, 폐쇄)를 바탕으로 증거를 선택적으로 융합하고 에지 단서의 타당성을 먼저 추정해야 한다.

결론적으로, 반복적 또는 생성적 추론(예: 확산 모델)이 붕괴의 심각성을 완화할 수는 있으나, 이것이 본질적으로 명시적인 물리적 지지 검증을 의미하는 것은 아니다. 따라서 전용 타당성 점수 산출 및 선택적 단서 통합의 필요성은 여전히 해결해야 할 연구 과제로 남아 있다.