Cast and Attached Shadow Detection via Iterative Light and Geometry Reasoning

1. 문제 정의 (Problem)

기존의 그림자 감지 (Shadow Detection) 연구들은 주로 **투영 그림자 (Cast Shadow)**에 집중하거나, 그림자를 단일 마스크로 통합하여 예측하는 경향이 있었습니다.

• 투영 그림자 (Cast Shadow): 물체 밖의 다른 표면에 드리워지는 그림자로, 물체 간의 공간적 관계를 나타냅니다.
• 부착 그림자 (Attached Shadow): 물체 표면 자체에 빛이 차단되어 생기는 그림자로, 물체의 기하학적 형태와 방향을 드러냅니다.

기존 방법론들은 부착 그림자를 명시적으로 구분하지 않거나 완전히 무시하여, 3D 형태 재구성이나 그림자 제거 (Shadow Removal) 와 같은 하류 작업에서 정확도가 낮아지는 한계가 있었습니다. 부착 그림자는 물체의 표면 방향과 조명의 상호작용에 의해 결정되므로, 단순한 외관 (Appearance) 기반의 감지로는 식별하기 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 조명 (Light) 과 기하학 (Geometry) 의 물리적 상호의존성을 활용하여 투영 그림자와 부착 그림자를 동시에 감지하는 반복적 프레임워크를 제안했습니다.

핵심 아이디어

• 물리적 원리: 빛의 방향과 표면 법선 (Normal) 벡터가 반대 방향을 향할 때 (즉, $n \cdot l > 0$), 해당 표면은 그림자에 속합니다.
• 상호 보완적 피드백 루프: 그림자 감지와 조명 추정 (Light Estimation) 은 서로를 보완하는 관계입니다.
  1. 조명 추정: 추정된 조명 방향과 표면 법선을 이용해 기하학 기반의 '부분 부착 그림자 맵 (Partial Attached Shadow Map)'을 생성합니다.
  2. 그림자 감지: 이 부분 맵을 추가 입력으로 활용하여 그림자 감지 모듈이 더 정확한 전체 그림자 마스크 (투영 및 부착) 를 예측합니다.
  3. 반복 정제 (Iterative Refinement): 예측된 그림자 정보는 다시 조명 방향 추정을 개선하는 데 사용되며, 이 과정을 여러 번 반복하여 두 모듈이 서로를 정제합니다.

프레임워크 구성

1. 입력: RGB 이미지와 표면 법선 맵 (Normal Map).
2. 그림자 감지 모듈 (Shadow Detection Module): 다중 클래스 분할 (배경, 투영 그림자, 부착 그림자) 을 수행합니다. SILT 모델을 기반으로 하며, 법선 맵과 이전 단계의 그림자 피드백을 입력받습니다.
3. 조명 추정 모듈 (Light Estimation Module): ConvNeXt-S 를 기반으로 3D 조명 방향 벡터를 추정합니다.
4. 손실 함수 (Loss Functions):
   • 그림자 손실: 전체 그림자 영역의 정확도 (Segmentation Loss) 와 투영/부착 그림자의 명확한 분리 (Margin Loss) 를 동시에 최적화합니다.
   • 조명 손실: 추정된 조명 방향이 부착 그림자 영역과 일치하도록 유도하고, 물리적 타당성 (단위 벡터 등) 을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 공동 학습 프레임워크: 조명 추정과 그림자 감지를 결합하여, 기하학적 정보와 물리적 조명 모델을 통해 부착 그림자를 정확히 감지하는 새로운 아키텍처를 제안했습니다.
2. 반복적 정제 메커니즘: 조명과 그림자 단서가 서로를 강화하는 폐쇄 루프 (Closed-loop) 구조를 도입하여 점진적으로 예측 정확도를 높였습니다.
3. 새로운 데이터셋: 기존 벤치마크 (WSRD, SOBA, CUHK) 에서 1,458 개의 이미지를 선별하여, 투영 그림자와 부착 그림자를 별도로 수동으로 주석 (Annotation) 한 데이터셋을 공개했습니다. 이는 부착 그림자 감지 연구의 표준 평가 기준을 마련했습니다.
4. 성능 향상: 기존 방법론 대비 부착 그림자 감지 성능을 획기적으로 개선했습니다.

4. 실험 결과 (Results)

• 정량적 평가: 제안된 데이터셋에서 기존 최첨단 (SOTA) 방법론 (BDRAR, SILT, FSDNet 등) 과 비교했습니다.
  • 부착 그림자 (Attached Shadow): 부착 그림자의 평균 오류율 (BER) 을 기존 재학습된 베이스라인 대비 최소 33% 감소시켰으며, F1 점수도 크게 향상되었습니다.
  • 투영 그림자 (Cast Shadow): 부착 그림자 감지 성능을 높임에도 불구하고 투영 그림자 감지 성능은 유지하거나 오히려 향상되었습니다.
• 정성적 평가:
  • 기존 방법들은 어두운 영역을 무조건 그림자로 인식하는 경향이 있었으나, 제안된 방법은 표면 법선과 조명 방향을 고려하여 실제 부착 그림자 영역을 기하학적으로 일관되게 분할했습니다.
  • 그림자 제거 응용: 분리된 부착 그림자 마스크를 사용하여 그림자 제거 모델을 적용한 결과, 물체 표면의 자연스러운 색상 복원 능력이 크게 향상되었습니다 (사용자 연구에서 80.7% 선호도).
• Ablation Study:
  • 표면 법선 (Normal) 입력 제거 시 부착 그림자 감지 성능이 급격히 하락하여 기하학적 정보의 중요성을 입증했습니다.
  • 반복 학습 (Iterative learning) 을 통해 3 단계 반복 시 최적의 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 컴퓨터 비전 분야에서 부착 그림자 감지라는 오랫동안 간과되었던 문제를 체계적으로 해결한 첫 번째 시도 중 하나입니다.

• 물리 기반 접근의 효용: 단순한 데이터 기반 학습을 넘어, 빛과 기하학의 물리적 관계를 명시적으로 모델링함으로써 복잡한 장면에서도 견고한 성능을 발휘함을 증명했습니다.
• 하류 작업 기여: 3D 재구성, 그림자 제거, 조명 추정 등 그림자 정보를 필요로 하는 다양한 작업의 정확도를 높이는 데 기여할 수 있습니다.
• 데이터셋 공개: 부착 그림자에 대한 체계적인 주석이 포함된 데이터셋을 공개함으로써 향후 관련 연구의 발전을 위한 기반을 마련했습니다.

요약하자면, 이 연구는 조명과 기하학의 반복적 추론을 통해 기존 방법론이 놓치던 부착 그림자를 정밀하게 감지하고 분리하는 혁신적인 프레임워크를 제시했습니다.