💻 computer science

SAM3 Self-Distillation for Fine-Grained GOOSE 2D Semantic Segmentation

이 논문은 SAM3 파운데이션 모델을 경량 디코더로 적응시키고, 자기 증류(self-distillation) 기법, 이미지 수준의 다중 스케일 테스트 단계 증강(test-time augmentation), 그리고 공격적인 광도 왜곡(photometric distortion)을 통해 성능을 향상시킴으로써 69.73%의 mIoU를 달정한 ICRA 2026 GOOSE 2D 미세 정밀 의미론적 분할(Fine-Grained Semantic Segmentation) 솔루션의 4위 수상작에 대해 제시한다.

원저자: Xuesong Wang

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuesong Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 오프로드 주행을 가르치고 있다고 상상해 보세요. 하지만 로봇은 단순히 "나무"나 "바위"를 보는 것이 아니라, "낮은 풀", "덤불", "이끼", "킥스쿠터"와 같이 64가지의 구체적인 유형을 구분해야 합니다. 이것이 바로 Xuesong Wang 저자가 ICRA 2026 GOOSE 경진대회를 위해 해결했던 과제입니다. 목표는 카메라 이미지의 모든 픽셀에 올바른 객체 이름을 라벨링할 수 있는 시스템을 구축하는 것이었습니다.

저자의 작품은 **69.73%**의 점수로 4위를 차지했습니다. 그들이 어떻게 해냈는지, 쉬운 비유를 통해 설명해 드리겠습니다.

핵심 아이디어: 똑똑한 학생과 슈퍼 선생님

팀은 로봇의 두뇌를 처음부터 직접 만들지 않았습니다. 대신, 그들은 SAM3(Segment Anything Model 3)라고 불리는 사전 학습된 "슈퍼 선생님"을 사용했습니다. SAM3를 수백만 장의 이미지를 보았고, 당신이 어떤 곳을 가리키기만 하면 거의 모든 사물의 윤곽선을 정확하게 그려낼 줄 아는 천재 화가라고 생각해보세요.

하지만 이 천재 화가는 다소 경직되어 있습니다. 특정 종류의 프롬프트(지시어)에만 잘 작동하며, 로봇이 배워야 할 구와 64가지의 구체적인 "오프로드" 클래스는 알지 못합니다.

해결책:

학생: 그들은 천재 선생님(SAM3)의 "두뇌"(이미지 인코더)를 가져온 뒤, 특정 오프로드 클래스를 배울 수 있도록 작고 단순한 "머리"(디코더)를 붙여주었습니다.
부분 학습: 그들은 천재의 두뇌 전체를 다시 학습시키지 않았습니다. 대신 복잡한 세부 사항을 처리하는 상위 레이어(층)만 미세하게 조정하고, 기본적인 모양과 가장자리를 파악하는 하위 레이어는 고정해 두었습니다. 이는 숙련된 셰프를 새로 오픈한 레스토랑에 고용하는 것과 같습니다. 셰프에게 양파 써는 법을 다시 가르칠 필요는 없습니다(그들은 이미 알고 있으니까요). 단지 당신만의 비밀 소스 레시피를 가르치기만 하면 됩니다.

세 가지 비밀 재료

논문은 점수를 높이는 데 기여한 세 가지 구체적인 기술을 강조합니다.

1. "오라클 박스(Oracle Box)" 자기 증류 (선생님이 학생을 돕다)

보통 학생은 선생님이 문제를 푸는 것을 보고 배웁니다. 여기서 학생(로봇)과 선생님(SAM3)은 사실 같은 모델 계열입니다.

기술: 학습 전, 팀은 "천재 선생님"(SAM3)에게 정답 박스(Ground-truth boxes, 일종의 치트키)를 사용하여 객체의 완벽한 윤곽선을 그리도록 요청했습니다.
함정: 선생님도 모든 것에 완벽하지는 않습니다. "트럭"이나 "나무"를 그리는 데는 뛰어나지만, "울타리"나 "이끼" 같은 것은 잘 그리지 못합니다(선 밖으로 삐져나갑니다).
해결책: 팀은 선생님이 학생보다 확실히 더 잘하는 클래스에서만 선생님의 도움을 받도록 했습니다. 트럭, 버스, 교통 콘과 같은 22개의 특정 클래스에 대해서는 학생이 선생님의 완벽한 그림을 그대로 복사하도록 강제했습니다. 나머지 클래스에 대해서는 학생 스스로 학습하게 했습니다.

2. "공격적인 색상 메이크오버" (가장 어려운 수업)

오프로드 장면은 급격하게 변합니다. 겨울의 눈, 봄의 진흙, 여름의 밝은 햇살, 그리고 가을의 비까지 말이죠. "초록색은 풀이다"라는 것에 의존하는 로봇은 풀이 눈에 덮이거나 겨울이라 갈색으로 보일 때 실패할 것입니다.

기술: 학습 중에 팀은 모든 이미지의 색상을 공격적으로 망가뜨렸습니다. 밝기, 대비, 채도, 색조를 무작위로 변경했습니다.
비유: 학생에게 "정지 표지판"을 인식할 때 단순히 빨간색 때문이 아니라 팔각형 모양 때문에 인식하도록 훈련시킨다고 상상해 보세요. 흑백, 네온 그린, 세피아 톤, 혹은 어두운 곳에서도 표지판을 보여주는 것입니다.
결과: 이것이 단일 항목 중 가장 큰 개선(+0.86점)을 가져왔습니다. 이를 통해 로봇이 색상에 근거해 추측하는 것을 멈추고, 형태와 질감을 인식하도록 강제했습니다.

3. "줌 인, 줌 아웃" 기술 (멀티 스케일 테스트)

대부분의 현대 AI 모델은 고정된 렌즈를 가진 카메라와 같습니다. 특정 크기로만 이미지를 볼 수 있죠. 만약 너무 작은 이미지를 넣으면 흐릿해지고, 너무 큰 이미지를 넣으면 픽셀이 깨집니다.

문제: 이를 해결하는 일반적인 방법은 모델의 크기를 조절하여 다양한 크기를 보게 하는 것이지만, 이 모델은 렌즈를 바꿀 만큼 유연하지 않았습니다.
우회 방법: 모델을 바꾸는 대신, 이미지를 바꿨습니다. 모델에 이미지를 넣기 전에, 크기를 75%로 줄였다가 다시 125%로 키웠습니다.
과정:
1. 원본 사진을 가져옵니다.
2. 크기를 줄인 후, 로봇의 두뇌를 통과시켜 답을 기록합니다.
3. 크기를 키운 후, 두뇌를 통과시켜 답을 기록합니다.
4. 원본 크기로도 실행합니다.
5. 결과를 평균 냅니다.
왜 작동하는가: 멀리서(축소된 상태) "교통 콘"을 보는 것은 로봇이 전체적인 객체를 파악하는 데 도움을 줍니다. 가까이서(확대된 상태) 보는 것은 미세한 디테일을 보는 데 도움을 줍니다. 이 두 가지 뷰를 결합하면 예측이 훨씬 정확해집니다. 이는 추가 학습 없이도 +0.34점을 더해주었습니다.

무엇이 효과가 없었나?

저자는 시도했지만 실패했던 부분에 대해서도 솔직하게 밝혔습니다.

더 무거운 두뇌: 모델에 더 복잡한 "머리"(디코더)를 사용해 보았지만, 오히려 작고 희귀한 객체를 찾아내는 능력을 떨어뜨렸습니다.
다른 선생님들: 다른 유명한 AI 모델들(DINOv2 등)을 테스트해 보았지만, 이 특정 작업에는 SAM3만큼 좋지 않았습니다.
무작위 크기 조절: 학습 도중에 이미지를 무작위로 크기 조절하는 것은 공격적인 색상 변화만큼 큰 도움이 되지 않았습니다.

결론

이 로봇은 강력한 사전 학습된 AI를 기반으로 사용하고, "천재 선생님"이 쉬운 클래스를 배우도록 돕게 하며, 색상 단서에 의존하지 않고 형태를 배우도록 강제하고, 마지막 테스트 단계에서 여러 거리에서 객체를 보기 위해 영리한 "줌 기술"을 사용하여 4위를 차지했습니다.

여전히 어려워하는 점은 무엇일까요? 바로 "이끼"입니다. 로봇은 이끼를 낮은 풀이나 숲 바닥과 계속 혼동하는데, 이는 아마도 데이터셋 내에서 이끼가 매우 드물고 다른 것들과 매우 비슷하게 생겼기 때문일 것입니다.

기술 요약: 세밀한 GOOSE 2D 시맨틱 세그멘테이션을 위한 SAM3 자기 증류(Self-Distillation)

문제 정의

본 논문은 오프로드 이미지의 모든 픽셀을 64개의 세밀한 클래스(예: 특정 식생 유형, 차량 모델)로 라벨링하는 것을 목표로 하는 ICRA 2026 GOOSE 2D 세밀한 시맨틱 세그멘테이션 챌린지를 다룹니다. 이 64개 클래스는 다시 11개의 거친 상위 카테로리로 집계됩니다. 챌린지는 네 가지 서로 다른 로봇 카메라 플랫폼(MuCAR-3, ALICE, 그리고 두 가지 Spot 구성)에서 촬영된 1,815장의 홀드아웃 테스트 세트를 통해 평가됩니다.

저자들은 이 도메인에서 세 가지 주요 어려움을 식별했습니다:

롱테일 클래스 분포 (Long-tailed Class Distribution): 소수의 클래스(예: 숲, 낮은 풀)가 훈련 데이터를 지배하는 반면, 다른 클래스(예: 킥스쿠터, 파이프)는 백만 개당 단 몇 부분(parts per million) 수준으로 나타납니다.
시각적 유사성 (Visual Near-Equivalence): 동일한 상위 카테고리 내의 많은 클래스(예: 서로 다른 식생 유형)는 캐노피 밀도나 강건함의 미세한 차이만 존재하여 높은 혼동률을 유발합니다.
플랫폼 이질성 (Platform Heterogeneity): 네 가지 카메라 플랫폼 간의 해상도, 노출, 관점의 차이는 특정 기하학적 구조에 과적합되지 않고 일반화할 수 있는 모델을 만드는 것을 어렵게 만듭니다.

방법론

제안된 솔루션은 오프로드 세그멘테이션을 위해 SAM3(Segment Anything Model 3) 시각 파운데이션 모델을 적응시킨 것입니다. 아키텍처와 훈련 파이프라인은 다음 구성 요소로 이루어집니다:

1. 백본(Backbone) 및 디코더(Decoder)

백본: 저자들은 SAM3의 사전 학습된 이미지 인코더를 활용합니다. 이를 완전히 동결하거나 처음부터 다시 학습시키는 대신, 부분 미세 조정(partial fine-tuning) 방식을 채택합니다. 즉, 일반적인 시각적 특징을 포착하는 하위 레이어는 동결 상태로 유지하고, 상위 12개의 트랜스포머 블록만을 미세 조정합니다. 이는 일반적인 지식을 유지하면서 오프로드 도메인에 적응하는 균형을 맞추기 위함입니다.
디코더: 인코더에 가벼운 FPN(Feature Pyramid Network) 스타일의 디코더를 부착했습니다. 이 디코더는 다중 해상도 특징을 하나의 픽셀당 클래스 맵으로 융합합니다. 저자들은 더 복잡한 디코더(UPerNet)가 작거나 희귀한 객체를 흐리게 만들어 성능을 약간 저하시킨다는 것을 발견했습니다.

2. SAM3 오라클 박스 자기 증류 (SAM3 Oracle-Box Self-Distillation)

SAM3가 학생 모델의 교사 역할을 수행하는 새로운 자기 증류 체계가 도입되었습니다:

메커니즘: SAM3에 정답 바운딩 박스("오라클 박스 프롬프팅")를 입력하여 특정 객체에 대한 고품질 소프트 마스크를 생성합니다.
선택 기준: SAM3를 모든 클래스의 교사로 사용하지는 않습니다. 저자들은 클래스를 사전 평가하여, SAM3의 오라클 박스 마스크가 학생의 초기 예측보다 명확하게 우수한(일반적으로 트럭, 교통 표지판, 나무와 같이 조밀하고 잘 정의된 객체) 22개 클래스에 대해서만 증류를 적용합니다.
손실 함수: 훈련 목적 함수는 모든 56개 클래스에 대한 표준 교차 엔트로피 손실( $L_{CE}$ )과 선택된 22개 클래스에 대한 증류 손실( $L_{teach}$ )을 결합하며, 이때 가중치 $\lambda = 0.3$ 을 적용합니다.

3. 공격적인 광도 왜곡 (Aggressive Photometric Distortion)

파이프라인은 2025년 우승 모델의 공격적인 색상 증강 전략을 채택합니다. 밝기, 대비, 채도, 색조 변조를 동시에 적용하는 표준 방식과 달리, 이 접근법은 각 변조를 독립적으로 0.5의 확률로 적용합니다. 이는 더 풍부한 훈련 이미지 분포를 생성하여, 모델이 색상 큐(cue)가 아닌 형태와 질감에 의존하도록 강제합니다. 이는 오프로드 환경의 다양한 조명 및 계절적 조건에 대응하는 데 매우 중요합니다.

4. 이미지 레벨 다중 스케일 테스트 타임 증강 (Image-Level Multi-Scale TTA)

표준 다중 스케일 TTA는 모델 입력의 크기를 조절하여 이미지를 재조정합니다. 그러나 SAM3 인코더는 1008×1008의 고정된 입력 크기만을 수용합니다. 저자들은 다음과 같은 해결책을 제안합니다:

과정: 모델 입력을 재조정하는 대신, 전체 테스트 이미지를 {0.75, 1.0, 1.25} 배율로 재조정합니다.
추론: 각 재조정된 이미지는 모델의 고유 해상도에서 슬라이딩 윈도우 추론(타일링)을 통해 처리됩니다.
융합: 결과물인 스코어 맵을 원래 이미지 크기로 재조정하고, 타일 경계를 부드럽게 하기 위해 Hann 윈도우를 사용하여 가중치를 적용한 뒤 스케일 간에 누적합니다. 최종 예측은 누적된 점수가 가장 높은 클래스가 됩니다. 이는 고정된 입력 크기를 가진 모델을 재학습시키지 않고도 다중 스케일 추론의 이점을 회복합니다.

주요 결과

최종 모델은 공식 테스트 세트에서 **복합 평균 IoU(mIoU) 69.73%**를 달 achievement 하여 챌린지에서 4위를 차지했습니다. 성능 향상의 세부 내역은 다음과 같습니다:

베이스 모델 (인코더 + 디코더): 복합 mIoU 67.71%.
+ SAM3 자기 증류: 68.38%로 개선 (+0.67).
+ 플립(Flip) 증강: +0.13 ~ +0.15 개선.
+ 공격적인 색상 증강: 가장 큰 폭의 개선 원인으로, +0.86을 더해 69.24%에 도달했습니다. 이는 특히 희귀 클래스(예: 킥스쿠터 IoU가 7.90%에서 29.65%로 증가)를 구제하는 데 효과적이었습니다.
+ 이미지 레벨 다중 스케일 TTA: 추가로 +0.34를 더해 69.73%에 도달했으며, 주로 교통 콘이나 표지판과 같이 중간 정도의 희귀도를 가진 잘 정의된 객체에서 이득을 보았습니다.

클래스별 관찰 사항:

성공 사례: 모델은 하늘(97.47%), 식생(94.01%), 차량(90.94%) 상위 카테고리에서 강력한 성능을 보였습니다. 색상 증강은 희귀 클래스를 크게 구제했습니다.
실패 사례: 모델은 이끼(moss)(색상 증강 적용 시 IoU가 거의 0%로 하락)와 **나무 뿌리(tree-root)**에서 어려움을 겪었는데, 이는 다른 식생 클래스와의 시각적 유사성 및 극도로 낮은 빈도 때문인 것으로 보입니다. 물(Water)과 동물(Animal) 카테고리 또한 여전히 약한 성능(<50% IoU)을 보였습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

파운데이션 모델로부터의 자기 증류: 정답 박스로 프롬프팅된 파운데이션 모델(SAM3)이 특수 도메인의 특정 클래스에 대해 고품질의 교사 역할을 수행하여, 외부 교사 네트워크 없이도 학생 모델의 예측을 정교화할 수 있음을 입증했습니다.
이미지 레벨 다중 스케일 TTA: 모델 입력을 재조정하는 대신 이미지를 재조정함으로써, 고정된 입력 크기를 가진 모든 모델에서 다중 스케일 추론을 가능하게 하는 일반화 가능한 방법을 제공하여 추가 학습 비용 없이 정확도 이득을 회복했습니다.
색상 증강에 대한 경험적 발견: 2025년 챌린지에서 성공적이었던 공격적인 독립적 광도 왜곡이 이 특정 파이프라인에서 가장 영향력 있는 구성 요소이며, 다른 아키텍처 수정이나 손실 함수보다 훨씬 뛰어난 성능을 보임을 강조했습니다.

저자들은 이 접근 방식이 효과적이긴 하지만, 이끼와 같이 극도로 희귀한 클래스에 대한 식생 내부의 근본적인 혼동 문제를 해결하지는 못한다고 언급하며, 향후 개선을 위해서는 관련 오프로드 데이터셋에 대한 추가 사전 학습이 필요할 수 있음을 시사했습니다.