💻 computer science

Learning to Label: A Reinforced Self-Evolving Framework for Semi-supervised Referring Expression Segmentation

본 논문은 제한된 주석 하에서 반지도식 참조 표현 분할 성능을 향상시키기 위해 멀티모달 대규모 언어 모델을 의미적·공간적 사전 지식으로 활용하고 의사결정 과정으로서의 의사레이블 선택을 적응형으로 형식화하는 강화 자기진화 프레임워크인 학습형 레이블링 (L2L) 을 제안한다.

원저자: Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

사진 속에서 특정 물체를 찾아내도록 로봇을 가르친다고 상상해 보세요. 예를 들어 "빨간 목걸이를 한 개"나 "왼쪽에 있는 피자 한 조각"과 같은 문장을 로봇에게 주면 됩니다. 이 작업은 **지시 표현 분할 (Referring Expression Segmentation)**이라고 불립니다. 로봇은 해당 물체의 정확한 윤곽을 완벽하게 그려내야 합니다.

보통 로봇을 이렇게 잘 가르치려면, 인간이 손으로 그 윤곽을 정성들여 그린 수천 장의 사진이 필요합니다. 이는 비용이 많이 들고 느립니다. **반지도 학습 (Semi-supervised learning)**은 이를 위한 단축키입니다: 완벽한 윤곽이 있는 몇 장의 사진 (레이블이 지정된 데이터) 과 윤곽이 전혀 없는 거대한 사진 더미 (레이블이 지정되지 않은 데이터) 를 로봇에게 주어, 로봇이 나머지 부분을 스스로 파악하기를 기대하는 방식입니다.

문제는 무엇일까요? 로봇이 레이블이 지정되지 않은 사진들의 윤곽을 추측하려 할 때, 종종 혼란에 빠집니다. 목걸이 대신 개 전체를 둘러싸는 원을 그리거나, 비슷하게 생긴 물체에 주의를 빼앗길 수 있습니다. 단순히 로봇에게 "자네 추측을 믿어라"라고만 말하면, 로봇은 종종 자신의 실수로부터 학습하여 오류의 악순환을 만듭니다.

이 논문은 **Learning to Label (L2L)**이라는 새로운 프레임워크를 소개합니다. 이를 지능형 자기 교정 튜터 시스템으로 생각하세요. 작동 원리는 세 가지 간단한 부분으로 나누어 설명합니다:

1. "슈퍼 옵저버 (Super-Observer)" (MLLM)

먼저, 시스템은 언어와 이미지를 매우 잘 이해하지만 완벽하지는 않은 거대하고 사전 훈련된 AI(멀티모달 대규모 언어 모델 또는 MLLM) 인 "슈퍼 옵저버"를 도입합니다.

비유: 혼잡한 경기장에서 특정 사람을 찾으려 한다고 상상해 보세요. 당신은 초지능 친구 (MLLM) 에게 도움을 요청합니다. 친구는 "파란 모자를 쓴 그 사람인 것 같아"라고 말합니다. 하지만 친구가 가끔 틀릴 수도 있고, 잘못된 사람을 보고 있을 수도 있습니다.
논문의 주장: 시스템은 이 슈퍼 옵저버를 사용하여 물체가 있을 만한 위치에 대한 "초안"을 얻습니다. 이 초안을 맹목적으로 신뢰하지는 않지만, 시작 힌트로서만 활용합니다.

2. "보정 스테이션 (Calibration Station)" (SPM)

이제 시스템은 두 가지 의견을 갖게 됩니다: 슈퍼 옵저버의 초안과 로봇 자신의 추측입니다. 때로는 의견이 일치하지만, 때로는 극명하게 다릅니다.

비유: 당신과 친구가 모두 지도를 보고 있다고 상상해 보세요. 친구는 "왼쪽으로 돌아라"라고 하지만, 당신은 "오른쪽으로 돌아라"라고 말합니다. 단순히 하나를 선택하면 길을 잃을 수 있습니다. 대신 이 시스템은 보정 스테이션처럼 작동합니다. 각자가 얼마나 확신하는지 살펴봅니다. 친구가 95% 확신하지만 당신이 25%만 확신한다면 친구의 의견을 따릅니다. 하지만 당신이 98% 확신하고 친구가 40%만 확신한다면 당신을 신뢰합니다.
논문의 주장: 시스템은 이 두 의견을 혼합하여 각 출처의 확실성에 따라 가중치를 둡니다. 이는 어느 하나 단독보다 더 신뢰할 수 있는 "보정된" 가이드를 만들어냅니다.

3. "스마트 필터 (Smart Filter)" (RPLE)

이 부분이 가장 독특합니다. 일반적으로 컴퓨터는 학습에 사용할 추측이 충분히 좋은지 결정하기 위해 고정된 규칙을 사용합니다 (예: "80% 확신하는 추측만 신뢰하라").

비유: "80% 이상 맞아야만 과제를 받아주겠다"라고 말하는 엄격한 선생님을 상상해 보세요. 이는 좋지 않습니다. 때로는 어려운 문제가 60%만 맞더라도 100%의 노력이 필요할 수 있고, 때로는 쉬운 문제가 우연히 맞을 수도 있기 때문입니다.
논문의 주장: 고정된 규칙 대신 L2L은 시행착오를 통해 학습하는 비디오 게임 캐릭터와 같은 강화 학습 (Reinforced Learning) 에이전트를 사용합니다. 이 에이전트는 스마트 필터 역할을 합니다. 학습 과정을 지켜보며 질문합니다: "이 추측이 지금 유용한가?"
- 로봇이 어려운 이미지로 고군분투한다면, 필터는 "조금 더 관대해져서 이 추측을 로봇이 학습하는 데 활용하자"라고 말할 수 있습니다.
- 로봇이 자신감 있지만 추측이 노이즈가 많다면, 필터는 "아니야, 무시해"라고 말합니다.
- 필터는 자신의 "엄격함"을 동적으로 조정하도록 학습하며, 로봇이 좋은 진전을 보이면 보상하고 나쁜 데이터로부터 학습하면 처벌합니다.

결과: 자기 진화 루프

전체 시스템은 루프 방식으로 작동합니다:

로봇이 추측을 합니다.
슈퍼 옵저버가 힌트를 줍니다.
보정 스테이션이 이를 혼합합니다.
스마트 필터가 그 혼합물 중 어떤 부분이 로봇을 가르칠 만큼 신뢰할 수 있는지 결정합니다.
로봇은 필터링된 데이터로부터 학습하여 더 나아지고, 이 사이클이 반복됩니다.

논문의 발견:
저자들은 매우 적은 양의 레이블이 지정된 데이터 (전체 이미지의 0.1% 수준) 를 사용하여 세 가지 표준 데이터셋 (RefCOCO, RefCOCO+, RefCOCOg) 에서 이를 테스트했습니다.

주장: 그들의 방법 (L2L) 은 기존 방법보다 일관되게 우수한 성능을 보였습니다. 거의 레이블이 지정된 데이터가 없더라도, 전혀 학습 예시가 없는 상태에서 작업을 수행하는 "제로샷 (zero-shot)" 방법보다 더 잘 수행되었습니다.
교훈: 학습 데이터의 선택을 고정된 규칙이 아닌 "학습 결정"으로 간주하고, 과정을 안내하는 슈퍼 옵저버를 사용함으로써, 시스템은 스스로를 훨씬 더 정확하고 신뢰할 수 있게 레이블링하는 법을 배울 수 있습니다.

요약하자면, 이 논문은 지능형 적응형 필터와 도움이 되지만 불완전한 AI 조수를 사용하여 컴퓨터가 스스로 학습 예시를 선택하는 법을 가르침으로써, 훨씬 적은 인간의 노력으로 더 나은 비전 시스템을 구축할 수 있다고 주장합니다.

기술 요약: 레이블 학습 (L2L)

문제 정의

반지도 참조 표현 분할 (SS-RES) 은 소수의 레이블이 지정된 이미지 - 텍스트 쌍과 대량의 레이블이 없는 데이터 풀을 사용하여 정밀한 픽셀 수준의 언어 기반 (language grounding) 을 달성하는 것을 목표로 합니다. 기존 반지도 분할 방법들은 의사 레이블링 (pseudo-labeling) 과 일관성 정규화에 의존하지만, 이러한 패러다임을 SS-RES 에 직접 적용하는 것은 참조 모호성, 가림 현상, 그리고 장거리 문맥 추론의 필요성으로 인해 어렵습니다. 이러한 요소들은 종종 경계 불확실성과 불안정한 의사 마스크를 초래합니다.

현재 접근 방식들은 일반적으로 고정된 신뢰도 임계값을 사용하여 의사 레이블을 필터링합니다. 그러나 이러한 휴리스틱은 취약합니다: 지나치게 엄격한 임계값은 정보량이 풍부한 샘플을 폐기하는 반면, 느슨한 임계값은 훈련을 오염시키는 노이즈가 있는 감독 정보를 도입합니다. 또한, 최근 연구들은 멀티모달 대규모 언어 모델 (MLLM) 과 기반 모델 (예: SAM) 을 활용하여 외부 사전 지식을 생성합니다. 그러나 이러한 사전 지식은 항상 신뢰할 수 있는 것이 아닙니다. MLLM 은 환각 (hallucinate) 을 일으키거나 기반 이동 (grounding drift) 에 시달릴 수 있으며, 분할 모델은 과도하게 분할하거나 주의가 산만해질 수 있습니다. 결정적으로, MLLM 사전 지식의 신뢰도와 분할 모델의 자체 예측 간에는 종종 샘플에 의존하는 상당한 불일치가 존재하여 고정 임계값 전략을 무효화합니다.

방법론

저자들은 레이블 학습 (L2L) 을 제안합니다. 이는 의사 레이블 구성을 학습 가능한 의사 결정 과정으로 재정의하는 강화된 자기 진화 프레임워크입니다. 이 프레임워크는 멀티모달 사전 지식, 의사 레이블 선택, 분할 네트워크가 공진화하는 폐쇄 루프에서 작동합니다. 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. MLLM 을 활용한 의미 - 공간 사전 지식 (SPM)

소프트 분할 제안 (soft segmentation proposals) 을 초기화하기 위해, L2L 은 매개변수가 고정된 MLLM 을 활용하여 레이블이 없는 이미지 - 텍스트 쌍에 대한 의미 기반 단서를 추출합니다. 이러한 단서들은 SAM2 를 통해 불확실성을 유지하면서 밀집된 소프트 분할 제안 ( $P^\dagger_i$ ) 을 생성하도록 유도합니다.

불확실성 인식 보정: 외부 사전 지식과 모델 예측 ( $P^w_i$ $P_{i}^{w}$ ) 이 충돌할 수 있음을 인식하여, SPM 은 픽셀 적응형 가중치 $\lambda(u)$ $λ (u)$ 를 사용하여 로그 공간 (logit space) 에서 이들을 융합합니다. 이 가중치는 다음에 기반하여 계산됩니다:
- 픽셀 단위 확실성: 예측이 모호성 (0.5) 에서 멀어질수록 증가하는 마진 기반 점수 $C(p)$ .
- 샘플 수준 일치도: 약한 예측과 외부 사전 지식 간의 일치를 측정하는 글로벌 일관성 점수 $W$ .
융합: 보정된 사전 지식 $\tilde{P}^\dagger_i$ 는 외부 사전 지식과 모델 예측의 로그 가중치를 가중하여 생성됩니다. 이를 통해 모델은 불확실할 때 외부 사전 지식에 더 의존하지만, 모델이 확신하거나 글로벌 일치도가 낮을 때는 사전 지식을 억제합니다.

2. 자기 진화 분할 모듈 (SESM)

SESM 은 보정된 사전 지식을 계층적 분할 네트워크에 통합합니다. 정적 융합 대신, 이 모듈은 의미 및 구조적 지침을 주입하기 위해 단계 적응형 게이트 메커니즘을 사용합니다.

이중 지침: 이 모듈은 텍스트 인코더에서來的인 의미 필드 ( $S$ ) 와 픽셀 단위 사전 지식에서 유래한 구조 필드 ( $G_j$ ) 를 결합합니다.
동적 게이팅: 학습 가능한 단계별 게이트 인자 ( $\alpha_j, \beta_j$ ) 를 통해 통합된 조건부 신호 $M_j$ 가 합성되어, 고수준 의미적 모호성 제거와 저수준 구조적 정제를 균형 있게 조절합니다.
단계 의존적 상호작용: 얕은 단계에서는 공간적 대응을 보존하기 위해 구조 필드가 엄격한 지역 투영을 통해 적용됩니다. 깊은 단계에서는 교차 주의를 통해 글로벌 관계 추론이 가능해집니다.
자기 진화: 모델의 약한 예측이 개선됨에 따라 구조적 지침이 반복적으로 업데이트되어, 점진적으로 노이즈를 줄이고 신뢰성을 높입니다.

3. 강화된 의사 레이블 탐색 (RPLE)

고정 임계값의 비최적성을 해결하기 위해, RPLE 은 의사 레이블 수락을 강화 학습 (RL) 의사 결정 과정으로 형식화합니다.

상태 표현: 상태 $s_t$ 는 융합된 예측의 통계적 특징 (평균, 표준 편차), 전경/배경/무시 픽셀의 비율, 그리고 샘플 수준 일치도 점수를 포함합니다.
정책 탐색기: 액터 네트워크 ( $\pi_\phi$ ) 는 각 샘플에 대한 적응형 전경 및 배경 신뢰도 임계값 ( $\tau_{fg}, \tau_{bg}$ ) 을 출력합니다.
비평가 및 보상: 비평가 네트워크 ( $Q_\phi$ $Q_{ϕ}$ ) 는 선택된 의사 레이블을 평가합니다. 보상은 다음 세 가지 구성 요소로 이루어진 지시적 이득 (Instructional Gain, $\Delta\Phi_t$ ) 으로 정의됩니다:
- 분리성 이득 ( $\Delta M$ ): 전경과 배경 간의 대비적 경계를 측정합니다.
- 일관성 이득 ( $\Delta K$ ): 모델 예측과 보정된 사전 지식 간의 일치를 측정합니다.
- 커버리지 이득 ( $\Delta C$ ): 선택된 픽셀의 비율을 측정합니다.
- 급격한 임계값 변화를 방지하기 위해 안정성 패널티가 적용됩니다.
최적화: 정책은 기대 누적 품질 점수를 최대화하기 위해 결정적 정책 경사 (deterministic policy gradients) 를 통해 최적화되며, 훈련 전반에 걸쳐 정밀도와 커버리지를 동적으로 균형 잡습니다.

주요 기여

레이블 학습 프레임워크: 저자들은 L2L 을 도입하여 의사 레이블 구성을 정적 임계값 처리에서 학습 가능한 샘플 적응형 의사 결정 과정으로 변환함으로써, 희소 주석 하에서 더 신뢰할 수 있는 픽셀 수준 감독 정보를 마이닝할 수 있게 합니다.
MLLM 기반 사전 지식 및 보정: 이 연구는 소프트 분할을 초기화하기 위해 MLLM 기반 의미 - 공간 사전 지식을 도입하고, 멀티모달 사전 지식과 모델 예측을 융합하여 고유틸리티 감독 정보를 적응적으로 식별하는 강화된 선택 메커니즘을 제안합니다.
실증적 검증: RefCOCO, RefCOCO+, RefCOCOg 에 대한 광범위한 실험은 다양한 레이블 예산 (0.1% 에서 10%) 에서 기존 반지도 및 베이스라인 방법보다 일관된 개선을 보여줍니다.

실험 결과

성능: L2L 은 모든 데이터셋과 레이블 예산에서 최첨단 (state-of-the-art) 결과를 달성합니다. 특히 극도로 낮은 레이블 환경 (0.1% 레이블 데이터) 에서 L2L 은 제로샷 대응 모델 및 기존 반지도 베이스라인 (예: RESMatch, SemiRES) 을 능가합니다.
어블레이션 연구:
- SPM, SESM, 또는 RPLE 을 개별적으로 제거하면 성능 저하가 발생하여, 불확실성 인식 융합, 계층적 지침, 적응형 임계값의 필요성을 확인합니다.
- SESM 의 가중치 전략 (동적 게이팅) 은 고정 가중치 융합보다 우수한 성능을 보여, 의미 및 구조적 단서를 동적으로 균형 잡을 필요성을 입증합니다.
- RPLE 은 임계값 선택에 매우 민감한 것으로 밝혀진 정적 임계값 처리를 크게 능가합니다.
강건성: 이 방법은 기반 모델 선택 (예: SAM 대 SAM2, 다양한 MLLM 백본) 의 변화에 강건하며, MLLM 사전 지식이 비-MLLM 교사 (예: CARIS, CGFormer) 로 대체되더라도 여전히 효과적입니다.
효율성: L2L 이 도입하는 추가 학습 가능 매개변수는 적당하며 (~9.3M), RL 구성 요소는 경량화되어 기반 모델이 고정된 상태이므로 추론 시간 비용은 무시할 수 있습니다.

중요성 및 주장

이 논문은 L2L 이 극도로 낮은 주석 비용 하에서 데이터 효율적인 참조 분할 시스템을 구축하기 위한 강력한 해결책을 제공한다고 주장합니다. 의사 레이블링을 강화된 자기 진화 과정으로 취급함으로써, 이 프레임워크는 고정 임계값 휴리스틱의 취약성과 외부 사전 지식의 불신뢰성을 효과적으로 완화합니다. 저자들은 그들의 접근 방식이 분할 모델과 의사 레이블의 공동 최적화를 가능하게 하여 레이블 신뢰성을 점진적으로 향상시킨다고 주장합니다. 이 연구는 잠재적인 환각이나 기반 이동에 방해받지 않고 MLLM 의 추론 능력을 활용할 수 있는 일반화 가능한 SS-RES 시스템으로 나아가는 한 걸음으로 제시됩니다.