기술 요약: 인스턴스 분할을 위한 조명 인식 통합 모델

문제 제기

Segment Anything Model(SAM) 과 같은 파운데이션 모델은 다양한 시각 영역에서 놀라운 제로샷 일반화 능력을 입증해 왔습니다. 그러나 야간 주행, 저조도 실내 장면, 과노출된 실외 환경, 그리고 혼합된 인공/자연 조명과 같은 열악한 조명으로 특징지어지는 실제 환경에서는 성능이 자주 저하됩니다. 기존 연구는 종종 조명 변화를 부차적인 문제로 간주하여, 전체 모델 재학습이나 타겟 도메인 데이터 접근이 필요한 일반적인 데이터 증강 또는 도메인 적응 기법을 통해 주로 해결해 왔습니다. 이는 조명 조건이 가변적이고 예측 불가능한 안전-중요 응용 분야 (예: 자율 주행, 의료 영상, 농업) 에 있어 치명적인 신뢰성 격차를 초래합니다.

방법론

저자들은 무거운 백본의 계산적으로 prohibitive 한 미세 조정 없이 SAM 에 강력한 조명 불변성을 부여하도록 설계된 PLAP-LCA(Lighting Convolutional Attention 을 갖춘 쌍별 조명 증강 파이프라인) 프레임워크를 제안합니다. 이 접근법은 데이터, 아키텍처, 학습의 세 가지 수준에서 작동합니다.

1. 데이터 생성: 쌍별 조명 증강

조명 불변성을 학습하기 위해 모델은 서로 다른 조명 조건 하에서 동일한 장면을 묘사하지만 동일한 정답 마스크를 공유하는 이미지 쌍이 필요합니다. 저자들은 두 가지 보완적 전략을 사용합니다:

• PLAP (이미지 공간): 기존 벤치마크 이미지 (COCO, VOC, Cityscapes) 에 노출, 방향성 그림자, 색온도, 비네팅, 안개와 같은 제어된 물리 기반 조명 연산을 적용하는 파이프라인입니다. 이는 (따뜻한 대 차가운 조명과 같은) 모순된 연산을 피하기 위해 충돌 인식 샘플링을 활용하고, 조명 열화의 스펙트럼을 시뮬레이션하기 위해 3 단계 심각도 프로토콜(경미함, 중간, 심각) 을 사용합니다.
• Unity-Lighting (합성): Unity 엔진 내에서 생성된 물리적으로 렌더링된 합성 데이터셋입니다. 2D 이미지 공간 연산과 달리, 이 접근법은 반사, 상호 반사, 자연광 및 인공광원 간의 복잡한 상호작용을 포함한 실제 3D 조명 수송을 시뮬레이션합니다. 이는 Clean, Mild, Moderate, Severe 의 네 가지 조명 조건에 걸쳐 픽셀 단위의 완벽한 인스턴스 분할 마스크를 제공합니다.

2. 아키텍처: 조명 합성 어텐션 (LCA) 모듈

동결된 SAM ViT-B 인코더를 미세 조정하는 대신, 저자들은 경량 LCA 어댑터를 최종 두 개의 트랜스포머 블록에 주입합니다. LCA 모듈은 RGB 특징과 함께 구조적 에지 정보를 처리하여 조명과 무관하게 객체 경계에 대한 민감성을 유지하도록 설계되었습니다. 이는 세 가지 병렬 어텐션 게이트를 갖춘 이중 분기 아키텍처를 사용합니다:

• 채널 어텐션 게이트: 전역 평균 풀링 및 최대 풀링 통계를 사용하여 전역 조명 편향 (예: 밝기 변화, 색온도 변화) 을 상쇄하기 위해 특징 채널을 재보정합니다.
• 공간 어텐션 게이트: 채널 차원을 공간 요약 맵으로 압축하고 큰 7×7 합성곱 커널로 처리하여 투영 그림자, 정반사 하이라이트와 같은 지역적으로 영향을 받는 영역을 식별합니다.
• 대비 어텐션 게이트: 학습된 강도 투영에 고정된 라플라시안 필터를 사용하여 조명 변화의 물리적 서명 (에지) 을 명시적으로 모델링합니다. 이 게이트는 열화된 구조적 경계를 강화합니다.

이러한 게이트들은 요소별 곱셈을 통해 융합되고 깊이별 분리 가능 합성곱을 통해 투영됩니다. 중요한 점은 잔여 투영이 0 으로 초기화되어 네트워크가 사전 학습된 SAM 의 정확한 복사본으로 학습을 시작하여 표현 손상을 방지한다는 것입니다.

3. 학습 전략: 쌍별 듀얼 스트림 학습

이 프레임워크는 깨끗한 이미지와 변형 이미지가 공유된 동결 인코더를 통과하는 듀얼 스트림 설정을 활용합니다.

• 공유 프롬프트: 예측 차이가 조명 유발 특징 변화에서만 비롯되도록 두 스트림 모두에 동일한 전경 점과 바운딩 박스를 프롬프트로 사용합니다.
• 지도 손실: 깨끗한 스트림과 변형 스트림 모두에 대한 분할 손실 (BCE + Dice) 의 가중 혼합입니다.
• 일관성 손실: 깨끗한 스트림과 변형 스트림의 시그모이드 활성화 출력 간의 불일치를 처벌하는 새로운 특징 일관성 손실 ($L_{cons}$) 입니다. 이 손실은 추가 주석이 필요 없이 모델이 조명과 무관하게 동일한 장면에 대해 동일한 예측을 생성하도록 강제합니다.
• 커리큘럼 기반 가중치: 일관성 손실 가중치는 지도 신호를 균형 있게 조정하도록 조정되어, 학습 초기에 모델이 과도하게 제약받지 않도록 합니다.

주요 기여

1. LCA 모듈: 사전 학습된 백본 가중치를 업데이트하지 않고 파운데이션 모델에 조명-강건한 구조적 표현을 주입하는 경량 이중 분기 어댑터.
2. 쌍별 학습 전략: 이상적인 조명과 열악한 조명 조건 간의 표현적 격차를 명시적으로 연결하기 위해 새로운 특징 일관성 손실을 활용하는 커리큘럼 기반 학습 접근법.
3. 포괄적인 실증 연구: 물리적으로 정확한 조명 평가를 위해 설계된 새로운 Unity 기반 합성 데이터셋을 포함하여 세 가지 공개 벤치마크 (COCO, VOC, Cityscapes) 에 걸친 엄격한 평가.

실험 결과

이 접근법은 COCO, VOC, Cityscapes 및 Unity 합성 데이터셋에서 평가되었습니다.

• 성능: LCA 모듈 (디코더 튜닝과 결합) 은 조명 변형 조건에서 특히 베이스라인 SAM 및 디코더 전용 미세 조정보다 우수한 평균 교차율 (mIoU) 을 달성했습니다. 예를 들어, Cityscapes 데이터셋에서 LCA+Dec 는 변형 조건 하에서 0.784 의 mIoU 를 달성한 반면, 제로샷 SAM 베이스라인은 0.560 이었습니다.
• 강건성: 이 방법은 깨끗한 이미지와 변형 이미지 간의 성능 격차를 현저히 줄였습니다. 제거 실험에서 LCA 모듈만으로도 어려운 조명 시나리오에서 SAM 베이스라인 대비 평균 IoU 를 61.7% 향상시켰습니다.
• 효율성: LCA 모듈은 93.7M SAM ViT-B 모델에 약 2.4M 개의 학습 가능 파라미터 (약 2.6% 오버헤드) 만 추가하여 계산 효율성을 유지합니다.
• 제거 실험: 깊이별 분리 가능 잔여 투영 (V3 변형) 이 성능 향상을 위한 주요 아키텍처 동인이었음이 확인되었습니다. 일관성 손실 가중치 ($\lambda_c$) 는 다양한 값 범위에서 안정적이었으며, 0.1 이 최상의 균형을 제공했습니다.

중요성과 주장

이 논문은 PLAP-LCA 가 조명 변화로 인한 도메인 격차를 성공적으로 연결하여 우수한 조명-강건 분할을 제공한다고 주장합니다. 저자들은 그들의 접근법이 비싼 모델 재학습이나 비용이 많이 드는 실제 데이터 수집 없이도 야간 안전 자율 주행, 가변 임상 조명 하의 신뢰할 수 있는 의료 영상, 그리고 주야간 주기에 걸친 강건한 농업 모니터링을 가능하게 한다고 강조합니다. 조명 불변성을 부차적인 증강 작업이 아닌 1 급 아키텍처 및 학습 문제로 취급함으로써, 이 연구는 안전-중요 실제 환경에서 파운데이션 모델을 배포하기 위한 확장 가능한 솔루션을 제공합니다. 어댑터의 제로 초기화는 안정적인 학습을 보장하며, 모듈식 설계는 리소스가 제한된 응용 분야에 조명 강건성을 접근 가능하게 만듭니다.