Segment-to-Act: Label-Noise-Robust Action-Prompted Video Segmentation Towards Embodied Intelligence

본 논문은 embodied intelligence 를 위한 액션 기반 비디오 객체 분할 작업에서 텍스트 프롬프트 및 마스크 주석의 라벨 노이즈 문제를 최초로 다루기 위해 ActiSeg-NL 벤치마크를 구축하고, 병렬 마스크 헤드 메커니즘 (PMHM) 을 포함한 다양한 노이즈 학습 전략의 성능을 분석하여 노이즈 유형별 실패 모드와 강건성 특성을 규명했습니다.

핵심

이 논문은 "로봇이 세상을 볼 때, 눈이 침침해지거나 귀가 먹먹해지면 어떻게 해야 할까?" 라는 질문에 대한 답을 찾는 연구입니다.

간단히 말해, 로봇이 인간의 손길이나 행동을 보고 "무엇을 잡아야 하는지" 정확히 구분해 내는 기술 (비디오 객체 분할) 을 개발하는 과정에서, 데이터에 실수가 섞여 있을 때 (노이즈) 어떻게 대처해야 하는지 연구한 내용입니다.

이 복잡한 내용을 일상적인 비유로 풀어서 설명해 드릴게요.

---

1. 배경: 로봇의 "눈"과 "귀"가 혼란스러울 때

상상해 보세요. 로봇이 주방에서 "접시를 씻어줘"라는 명령을 받았습니다. 로봇은 카메라로 주변을 보며 '접시', '스폰지', '수세미' 등을 찾아내야 합니다.

하지만 현실은 완벽하지 않습니다.

• 귀 (텍스트) 문제: 로봇이 명령을 들을 때, "접시 (Plate)"라고 들었는데 실제로는 "수세미 (Scourer)"라고 잘못 적혀 있거나, "접시" 대신 "그릇"이라고 불렀다면 어떨까요? (이를 텍스트 노이즈라고 합니다.)
• 눈 (마스크) 문제: 로봇이 '접시'의 경계를 그릴 때, 사람이 손으로 그은 선이 너무 뭉개져서 접시 가장자리가 흐릿하거나, 옆에 있는 스펀지까지 같이 포함해 버린다면 어떨까요? (이를 마스크 노이즈라고 합니다.)

기존의 로봇들은 이런 '잘못된 정보'가 섞이면 완전히 엉뚱한 것을 잡거나, 아예 작업을 멈추곤 했습니다. 이 논문은 **"잘못된 정보를 줘도 로봇이 그래도 일을 잘할 수 있게 하는 방법"**을 찾아냈습니다.

2. 연구의 핵심: 'ActiSeg-NL'이라는 훈련장 만들기

저자들은 로봇을 훈련시키기 위해 **인위적으로 실수를 섞은 훈련장 (ActiSeg-NL)**을 만들었습니다.

• 상황 A: 로봇에게 "접시"라고 말해주는데, 데이터에는 "수세미"라고 적어줍니다. (텍스트 노이즈)
• 상황 B: 로봇에게 "접시"를 그려달라고 하는데, 접시 테두리가 너무 뭉개져서 옆 물건까지 포함되게 그려줍니다. (마스크 노이즈)
• 상황 C: 둘 다 동시에 잘못됩니다.

그리고 기존에 알려진 다양한 "학습 전략"들을 이 훈련장에 적용해 봤습니다. 마치 다양한 방어막을 입은 장수들이 서로 다른 적 (노이즈) 을 상대해 보는 실험이죠.

3. 주요 발견: "방어막"마다 성격이 다르다

실험 결과, 모든 방어막이 다 똑같이 잘 작동하지 않았습니다. 각기 다른 성격이 있었습니다.

• 코-티칭 (Co-teaching) 전략: 두 명의 로봇이 서로 가르치며 실수를 고치는 방식입니다.
  • 비유: "네가 잘못 봤어? 내가 봐보자!"라고 서로 확인하는 친구들.
  • 효과: 명령 (텍스트) 이 헷갈릴 때는 아주 잘 작동합니다. 로봇이 "아, 명령이 이상하네? 그래도 내가 본 건 접시야"라고 믿고 행동합니다. 하지만 경계가 뭉개졌을 때는 효과가 떨어집니다.
• APL (활성 - 수동 손실) 전략: 확실한 것은 확실히 하고, 애매한 것은 가볍게 넘기는 방식입니다.
  • 비유: "이건 확실한 접시야! (강하게)" vs "저건 뭐지? (약하게)"
  • 효과: 경계가 흐릿할 때 로봇이 접시 모양을 더 잘 잡아냅니다.
• PMHM (병렬 마스크 헤드) 전략: (이 연구에서 새로 제안한 기술)
  • 비유: 로봇이 접시를 그릴 때, **주인공 (메인 헤드)**과 **보조견 (보조 헤드)**이 동시에 그립니다. 두 사람이 그은 선이 비슷하면 "아, 이게 맞는구나"라고 믿고, 다르다면 "여기가 애매하네"라고 표시합니다.
  • 효과: 경계가 흐릿하거나 뭉개졌을 때 가장 효과적으로 로봇이 실수를 줄여줍니다.

4. 중요한 교훈: "한 가지 점수"로 판단하면 안 된다

연구자들은 흥미로운 사실을 발견했습니다.

• 로봇이 **접시 (앞쪽)**를 잘 잡는 점수가 떨어졌을 때, **주변 (뒤쪽)**을 잘못 잡는 점수가 좋아지는 경우가 많았습니다.
• 마치 "접시를 잡기 위해 너무 조심해서 주변까지 다 잡아버리는" 상황이나, 반대로 "주변을 잡지 않으려다 접시도 놓치는" 상황입니다.

그래서 단순히 "전체 점수"만 보면 안 되고, **"접시를 잘 잡았는가?"**와 **"주변을 잘못 잡았는가?"**를 따로 따로 봐야 로봇이 실제로 일을 잘하는지 알 수 있다고 말합니다.

5. 결론: 더 똑똑한 로봇을 위한 첫걸음

이 논문은 **"로봇이 실수 많은 세상 (노이즈가 있는 데이터) 에서도 일할 수 있게 하는 기준 (벤치마크)"**을 세웠습니다.

• 텍스트가 헷갈리면? → 서로 확인하는 방식 (Co-teaching) 이 좋습니다.
• 경계가 흐릿하면? → 보조견을 두는 방식 (PMHM) 이나 경계 중심의 학습이 좋습니다.
• 둘 다 헷갈리면? → 어떤 방식이든 trade-off (상충 관계) 가 생기므로, 로봇이 어떤 작업을 할지 (예: 정밀한 조립 vs 거친 청소) 에 따라 전략을 바꿔야 합니다.

한 줄 요약:

"로봇에게 완벽한 정보를 주는 건 불가능합니다. 대신 어떤 실수가 섞여 있든 로봇이 가장 현명하게 대처할 수 있는 '방어 전략'들을 찾아낸 연구입니다."

이 연구가 완성되면, 앞으로 우리가 로봇에게 "식탁 치워줘"라고 말했을 때, 로봇이 식탁 위에 있는 컵을 실수로 치우거나, 식탁을 다 치워버리는 실수를 덜 하게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: embodied intelligence(구체적 지능) 는 인간 - 로봇 상호작용 및 조작 작업에서 언어 지시를 픽셀 수준의 객체 표현에 연결하는 **액션 기반 비디오 객체 분할 (Action-based Video Object Segmentation, ActionVOS)**에 의존합니다.
• 문제점:
  • 대규모 데이터셋의 주석 (annotation) 은 비용이 많이 들고, 주관적 불일치로 인해 노이즈가 발생하기 쉽습니다.
  • 기존 ActionVOS 모델은 텍스트 프롬프트 노이즈 (예: 카테고리 오류, 동의어 치환) 와 마스크 주석 노이즈 (예: 부정확한 객체 경계) 에 매우 취약합니다.
  • 기존 노이즈 라벨 학습 연구는 주로 이미지 분류에 집중되어 있으며, 픽셀 단위와 언어 조건이 결합된 비디오 분할 작업의 복잡한 노이즈 (의미론적 모호성 + 경계 불확실성) 를 다루지 못했습니다.
• 목표: ActionVOS 모델이 불완전한 주석 (노이즈가 있는 텍스트 및 마스크) 하에서도 견고하게 작동할 수 있도록 하는 방법론을 연구하고 벤치마크를 구축하는 것.

2. 제안 방법 및 벤치마크 (Methodology & Benchmark)

A. ActiSeg-NL 벤치마크 구축

논문은 ActionVOS 의 견고성을 평가하기 위한 최초의 벤치마크인 ActiSeg-NL을 제안했습니다.

• 데이터셋: VISOR 데이터셋의 학습 분할을 기반으로 합성 노이즈를 주입했습니다.
• 노이즈 시나리오 (3 가지):
  1. 텍스트 프롬프트 노이즈: 객체 카테고리 반전 (예: 'container' $\to$ 'fridge') 및 동일 카테고리 내 명사 치환 (예: 'container' $\to$ 'food container').
  2. 마스크 주석 노이즈: 모폴로지 팽창 (Dilation) 을 사용하여 객체 경계를 흐리게 하여 실제 인간 주석의 부정확성을 시뮬레이션합니다. (Kernel size 9, 15, 21 사용)
  3. 혼합 노이즈: 텍스트와 마스크 노이즈가 동시에 존재하는 상황.

B. 적응된 견고한 학습 전략 (Adapted Robust Learners)

기존 노이즈 라벨 학습 기법들을 ActionVOS 환경에 맞게 적용 및 조정했습니다.

• Co-teaching: 두 네트워크가 작은 손실 샘플을 교환하여 노이즈를 억제.
• Robust Loss Functions: GCE (Generalized Cross Entropy), SCE (Symmetric Cross Entropy), APL (Active Passive Loss) 를 사용하여 이상치 픽셀의 영향을 줄임.
• Regularization: ELR (Early Learning Regularization) 을 통해 노이즈 주석에 대한 과적합 방지.
• NPN: 부분 라벨 학습 (Partial Label Learning) 과 부정 학습 (Negative Learning) 을 통합.

C. 제안된 아키텍처: PMHM (Parallel Mask Head Mechanism)

마스크 주석 노이즈를 해결하기 위해 제안한 새로운 모듈입니다.

• 구조: 메인 분할 헤드의 병렬로 경량 보조 헤드를 배치합니다.
• 동작:
  • 훈련 중 보조 헤드는 약간의 perturbation 을 받아 예측 다양성을 확보합니다.
  • 불확실한 픽셀 (Uncertain Pixels): 결정 경계 근처나 고 공간 기울기를 가진 픽셀을 식별합니다.
  • 일관성 손실 (Consistency Loss): 메인 헤드와 보조 헤드의 예측, 그리고 디코더의 여러 층 사이에서 대칭 KL 발산을 통해 일관성을 강제합니다.
  • 추론 시 보조 헤드는 폐기되어 계산 오버헤드가 없습니다.

3. 주요 실험 결과 (Results)

A. 노이즈 유형별 성능 저하

• 텍스트 노이즈: 프롬프트가 불확실해지면 모델은 배경에서의 위양성 (False Positive) 을 줄이기 위해 보수적인 마스크를 생성하여 전경 (Active Region) 의 IoU 가 급격히 감소합니다.
• 마스크 노이즈: 경계가 흐려지면 전경의 중첩 (Overlap) 이 감소하고, 경계 드리프트 (Boundary Drift) 가 발생합니다. 텍스트 노이즈보다 마스크 노이즈가 전체 성능 (gIoU) 에 더 치명적임을 확인했습니다.

B. 전략별 견고성 비교

• 단일 노이즈 조건:
  • 텍스트 노이즈 하에서는 Co-teaching이 전경 영역을 잘 보존하는 경향이 있습니다.
  • 마스크 노이즈 하에서는 APL이 중첩 (Overlap) 을 개선하는 반면, GCE/SCE는 전경과 배경 간의 균형을 잘 유지합니다.
• 혼합 노이즈 조건:
  • 샘플 선택 기반 방법 (Co-teaching 등) 은 경계 노이즈가 심할 때 효과가 떨어집니다.
  • 픽셀 단위 노이즈를 완화하는 손실 함수 (GCE, SCE, APL) 와 일관성 기반 학습 (NPN) 이 혼합 조건에서 더 안정적인 성능을 보입니다.
  • PMHM은 순수 마스크 노이즈 조건에서는 베이스라인보다 gIoU 를 향상시켰으나, 심각한 텍스트 노이즈가 결합된 혼합 조건에서는 그 이점이 감소했습니다.

C. 정성적 분석

• 경계 노이즈는 **경계 누출 (Boundary Leakage)**과 **위치 오인 (Mislocalization)**을 유발합니다.
• 텍스트 노이즈는 때때로 **객체 정체성 교체 (Identity Substitution)**를 유발합니다.
• 전경 (p-mIoU) 과 배경 (n-mIoU) 지표는 서로 상충되는 경향이 있어, 단일 집계 점수 (gIoU) 는 실패 모드를 가릴 수 있으므로 분리된 지표 분석이 필수적입니다.

4. 주요 기여 (Key Contributions)

1. ActionVOS 의 노이즈 라벨 연구 시작: 텍스트 프롬프트 노이즈와 마스크 주석 노이즈를 공식화하고, 의미론적 모호성과 픽셀 경계 불명확성을 연결하는 노이즈 분류 체계를 정립했습니다.
2. ActiSeg-NL 벤치마크 출시: ActionVOS 의 견고성을 평가하기 위한 최초의 벤치마크를 구축하고, 다양한 노이즈 학습 전략을 대규모로 비교 평가했습니다.
3. PMHM 제안 및 심층 분석: 마스크 노이즈를 완화하는 병렬 마스크 헤드 메커니즘을 제안하고, 다양한 노이즈 유형에 따른 모델의 실패 모드와 견고성 트레이드오프 (전경 vs 배경) 를 체계적으로 분석했습니다.

5. 의의 및 시사점 (Significance)

• Embodied Perception 의 신뢰성 향상: 실제 로봇 조작 환경에서 주석 데이터의 불완전성을 고려한 견고한 분할 모델을 개발하는 토대를 마련했습니다.
• 실제 적용 가이드: 로봇이 작업을 수행할 때, 텍스트 프롬프트가 불확실한 경우 Co-teaching 을, 경계 정보가 부정확한 경우 PMHM 이나 APL 등을 활용하는 등 작업 환경에 맞는 전략 선택 가이드를 제공합니다.
• 평가 지표의 중요성 강조: 단순한 평균 IoU 가 아닌, 전경/배경으로 분리된 지표 (p-mIoU, n-mIoU) 를 사용하여 로봇의 충돌 위험 (배경 오분할) 과 접촉 정확도 (전경 오분할) 를 동시에 평가해야 함을 강조했습니다.

이 연구는 embodied intelligence 시스템이 실제 세계의 불완전한 데이터에서도 안정적으로 작동할 수 있도록 하는 중요한 이정표가 됩니다.