💻 computer science

DRAgent: Discriminative Reasoning Agent for Referring Expression Segmentation

DRAGent는 직접적인 좌표 생성 대신 디텍터가 생성한 공간에서 최적의 후보를 선택하는 판별적 추론 메커니즘을 통해 파운데이션 세그멘테이션 모델을 가이드함으로써 로컬라이제이션 정확도를 향상시키는, 지칭 표현 분할(Referring Expression Segmentation)을 위한 새로운 MLLM 기반 프레임워크이다.

원저자: Yujie Qi, Luyan Zhang

게시일 2026-08-25

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yujie Qi, Luyan Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 지칭 표현 분할(referring expression segmentation)이라고 알려진 특정한 과제가 있습니다. 컴퓨터가 사진을 보고 있는 상황에서 사람이 "파란 의자 위에 놓인 빨간 공을 찾아줘"라고 말한다고 상상해 보십시오. 목표는 단순히 공과 의자가 존재한다는 것을 인식하는 것이 아니라, 그 특정 빨간 공의 윤곽을 픽셀 단위로 정밀하게 그려내는 것입니다. 이러한 능력은 물리적 세계와 상호작용해야 하는 로봇과 자율 시스템에게 매우 중요한데, 기계는 물체가 정확히 어디서 시작해서 어디서 끝나는지를 먼저 식별하지 못하면 그 물체를 집어 올릴 수 없기 때문입니다. 수년 동안 연구자들은 대규모 언어 모델이 기계의 눈 역할을 하도록 가르쳐, 마치 지도상의 좌표를 적어 내려가듯 대상 물체의 좌표를 직접 생성하도록 함으로써 이 문제를 해결하려고 노력해 왔습니다. 그러나 이 방식에는 근본적인 결함이 있습니다. 컴퓨터가 연속적인 시각적 공간을 텍ền 형태의 숫자 문자열로 변환하려고 할 때, 종종 길을 잃게 되어 특히 비슷하게 생긴 물체가 많은 복잡한 장면에서 흐릿하거나 부정확한 윤곽을 만들어내곤 합니다.

한 연구팀은 이 퍼즐을 풀기 위해 컴퓨터의 역할을 '지도 제작자'에서 '신중한 선택자'로 전환하는 다른 방법을 제안했습니다. 인공지능에게 대상의 위치를 처음부터 스스로 만들어내라고 요구하는 대신, 별도의 특화된 도구를 사용하여 이미지 내에서 보이는 모든 잠재적 물체를 표시함으로써 넓은 그물을 먼저 던지게 하는 것입니다. 그러면 대규모 언어 모델은 더 단순하고 신뢰할 수 있는 작업, 즉 이 표시된 가능성들의 목록을 살펴보고 어떤 것이 설명과 일치하는지 결정하는 임무를 맡게 됩니다. DRAgent라고 불리는 이 방법은 이 과업을 위치를 생성하는 것이 아니라 옵션들 사이를 판별하는 것으로 취급합니다. 시스템은 먼저 목록을 스크리닝하여 가장 가능성 높은 후보들을 남긴 다음, 남은 소수의 옵션들에 대해 어떤 것이 정말로 설명에 부합하는지 확인하기 위해 두 번째의 더 세밀한 검사를 수행합니다. 일단 올바른 상자가 선택되면, 세그멘테이션 모델이 그 상자를 사용하여 최종적이고 정밀한 윤곽을 그려냅니다.

연구진은 이러한 스크리닝과 검증이라는 2단계 과정이 기존 방식들을 괴롭히던 오류를 크게 줄여준다는 것을 발견했습니다. 시각적 공간을 직접 텍스트 좌표로 변환하는 어려운 과업을 피함으로써, 시스템은 단어와 이미지 사이의 더 명확한 연결성을 유지합니다. 언어 모델이 이러한 선택 과정을 더욱 잘 수행할 수 있도록, 연구팀은 신뢰할 수 없는 추론을 걸러내는 훈련 방법을 개발했습니다. 그들은 모델이 자신의 작업을 스스로 점검하도록 가르쳐, 물체를 선택하는 데 사용하는 논리가 단순히 그럴듯하게 들리는 것이 아니라 실제로 사진에 보이는 것과 일치하도록 했습니다. 수천 장의 이미지와 복잡한 설명이 포함된 표준 벤치마크에서 테스트했을 때, 이 새로운 접근 방식은 특히 물체가 밀집되어 있거나 설명이 길고 상세한 시나리오에서 매우 정확한 결과를 달성했습니다. 이러한 결과는 기계가 시각적 지시를 진정으로 이해하기 위해서는, 아무것도 없는 상태에서 답을 추측하도록 강요하기보다 명확한 가능성들의 집합 중에서 선택하게 하는 것이 종종 더 효과적이라는 점을 시사합니다.

기술 요약: DRAgent – 지칭 표현 분할을 위한 판별적 추론 에이전트 (Discriminative Reasoning Agent for Referring Expression Segmentation)

1. 문제 정의

지칭 표현 분할(Referring Expression Segmentation, RES)은 자연어 표현으로 지정된 객체에 대해 픽셀 수준의 마스크를 생성하는 것을 목표로 합니다. 최근의 접근 방식들은 멀티모달 거대 언어 모델(MLLM)과 파운데이션 세그멘테이션 모델(예: SAM)을 결합하여 활용하고 있으나, 다음과 같은 두 가지 결정적인 한계에 직면해 있습니다:

생성적 접근 방식의 위치 선정 편향(Localization Bias): 현재의 방법들은 시각적 위치 선정을 연속적인 좌표 생성 문제로 취급하는 경우가 많습니다. MLLM은 연속적인 공간 좌표를 이산적인 텍스트 토큰으로 직렬화합니다(자기회귀적 생성). 이러한 표현 방식은 공간적 관계의 연속성을 보존하지 못하여, 거칠거나 편향된 위치 선정을 초래합니다. 밀집된 객체나 유사한 외형을 가진 객체가 존재하는 복잡한 장면에서, 이러한 "원패스(one-pass)" 생성은 방해 요소(distractor)와 혼동되기 쉬우며, 결과적으로 다운스트림 세그멘테이션 모듈에 잘못된 공간 프롬프트를 전달하게 됩니다.
신뢰할 수 없는 추론 체인 감독(Unreliable Reasoning-Chain Supervision): 추론 체인(예: Chain-of-Thought)을 활용하여 학습하는 방법들은 비용이 많이 들고 확장이 어려운 수동 주석 데이터나, 외부 MLLM에 의해 생성된 데이터에 의존하는 경우가 많습니다. 후자의 경우, 논리적으로는 일관성이 있으나 시각적으로는 근거가 없는(visually ungrounded) 추론이나 경로를 생성하여, 모델이 불안정한 패턴을 학습하게 만드는 원인이 됩니다.

2. 방법론: DRAgent

저자들은 시각적 위치 선정을 좌표 생성에서 디텍터가 생성한 후보 공간 내에서의 **판별적 대상 선택(discriminative target selection)**으로 재정의하는 MLLM 기반 프레임워크인 DRAgent를 제안합니다. 이 파이프라인은 세 단계로 구성됩니다:

A. 후보 객체 탐지 (Candidate Object Detection)

MLLM에게 좌표 생성을 요청하는 대신, 오픈 보캐블러리 디텍터(Grounding DINO)가 먼저 높은 재현율을 가진 후보 집합 $O = \{o_1, o_2, \dots, o_n\}$ 을 구축합니다. 타겟 카테고리는 LLM에 의해 텍스트 쿼리 $Q$ 로부터 추출되어 디텍터에 전달되며, 이를 통해 바운딩 박스를 생성합니다.

B. 2단계 판별적 추론 (Two-Stage Discriminative Reasoning, DR)

MLLM은 좌표 생성기가 아닌, 시각-의미론적 타겟 판별자(visual-semantic target discriminator) 역할을 수행합니다. MLLM은 다음과 같은 단계적 메커니즘을 통해 최적의 후보를 선택합니다:

후보 수준의 예비 스크리닝 (Candidate-Level Preliminary Screening):
- 탐지된 후보들은 인덱싱된 Set-of-Mark(SoM) 바운딩 박스를 사용하여 이미지 상에 시각화됩니다.
- MLLM은 쿼리 $Q$ 와 가장 잘 일치하는 상위 $K$ 개의 후보를 선택합니다.
- 재현율을 보장하기 위해, 상위 $K$ 개 박스와 IoU(Intersection over Union)가 임계값 $\gamma$ 를 초과하는 추가 후보들을 포함시켜 2단계 후보 집합 $O_{top}$ 을 형성합니다.
인스턴스 단위 검증 (Instance-Wise Verification):
- $O_{top}$ 에 속한 각 후보는 개별적으로 SoM 박스와 함께 렌더링됩니다.
- MLLM은 시각적 질의응답(VQA) 작업을 수행하도록 특정 지침(예: "빨간색 바운딩 박스를 보세요. 이 박스가 '{Q}'라고 설명된 객체를 긴밀하게 둘러싸고 있습니까?")을 받습니다.
- 검증 점수 (Verification Score): 단일 생성 토큰에 의존하는 대신, 시스템은 긍정적("Yes") 답변과 부정적("No") 답변 토큰 세트의 상대적 로짓(logits)을 기반으로 검증 점수 $S_i$ 를 계산합니다. 가장 높은 점수를 가진 후보가 타겟으로 선택됩니다.

C. 픽셀 수준 세그멘테이션 (Pixel-Level Segmentation)

선택된 바운딩 박스는 파운데이션 세그멘테이션 모델(SAM)의 공간 프롬프트로 사용되어 최종 픽셀 수준 마스크를 생성합니다.

D. 학습 전략: 자기 일관성 필터링 데이터 파이프라인 (Self-Consistency-Filtered Data Pipeline)

MLLM의 판별적 추론 능력을 강화하기 위해, 저자들은 LoRA 기반의 지도 미세 조정(SFT)을 위한 데이터 파이프라인을 도입합니다:

자기 일관성 생성 (Self-Consistency Generation): MLLM은 후보 영역에 대해 구조화된 응답(추론 체인, 설명, 정답)을 생성합니다.
자기 검증 (Self-Verification, 폐쇄 루프): 생성된 설명을 새로운 쿼리로 다시 MLLM에 입력하여 일관성을 검증합니다.
필터링 (Filtering): 초기 정답이 실제 정답(ground truth)과 일치하고, 폐쇄 루프 검증을 통해 재구성된 설명이 일관됨이 확인된 경우에만 해당 추론 체인을 학습에 사용합니다. 이는 언어적으로는 그럴듯하지만 시각적으로는 틀린 추론을 걸러내는 역할을 합니다.

3. 주요 기여

시각적 위치 선정의 재정의: DRAgent는 MLLM의 역할을 좌표 생성에서 디텍터가 생성한 후보 공간에 대한 판별적 선택자로 전환하여 위치 선정 편향을 완화합니다.
2단계 DR 메커니즘: 복잡한 장면에서 선택의 안정성을 높이기 위해 후보 스크리닝과 인스턴스 단위 시각 검증을 결려한 새로운 추론 전략을 제시합니다.
자기 일관성 필터링 데이터 파이프라인: 추론, 설명, 시각적 근거 사이의 폐쇄 루프 일관성을 강제함으로써, 비용이 많이 드는 수동 주석이나 신뢰할 수 없는 외부 생성에 의존하지 않고도 신뢰할 수 있는 추론 체인 데이터를 구축하는 방법을 제공하여 불안정한 학습 신호 문제를 해결합니다.

4. 실험 결과

실험은 RefCOCO, RefCOCO+, RefCOCOg 벤치마크에서 누적 IoU(cIoU)를 지표로 사용하여 수행되었습니다.

성능: DRAgent는 경쟁력 있는 결과를 달 achieved 했으며, 특히 RefCOCOg에서 우수한 성능(val(U)에서 76.78%, test(U)에서 77.54%)을 기록하며 암시적(implicit) MLLM 기반 방법 및 명시적(explicit) 시각 위치 생성 모델을 모두 능가했습니다.
절제 연구 (Ablation Studies):
- 2단계 DR 메커니즘은 단일 단계 베이스라인에 비해 성능을 크게 향상시켰습니다 (RefCOCOg에서 평균 cIoU가 66.84%에서 75.42%로 증가).
- 자기 일관성 필터링된 추론 데이터는 가공되지 않은 CoT 데이터나 CoT 없는 SFT보다 더 나은 결과를 보여주었으며, 이는 신뢰할 수 있는 감독의 가치를 입증합니다.
- 파라미터 분석 결과, $K=4$ (상위 후보 수)와 $\gamma=60\%$ (IoU 임계값)일 때 최적의 성능을 보였습니다.

5. 의의 및 주장

본 논문은 최근 MLLM 기반 RES 방법들의 주요 한계가 시각적 위치 선정을 생성적 좌표 문제로 취급한다는 점에 있다고 주장합니다. **판별적 타겟 선택기(discriminative target selector)**를 도입함으로써, DRAgent는 MLLM의 능력을 생성보다는 검증을 위한 추론에 활용합니다.

저자들은 이 접근 방식이 정교한 시각-의미론적 비교가 필수적인 긴 구성적 표현(RefCOCOg와 같은)을 가진 데이터셋에 특히 유익하다고 주장합니다. 또한, 제안된 데이터 파이프라인은 비용이 많이 드는 수동 주석이나 신뢰할 수 없는 외부 생성 없이도 판별적 추론을 학습할 수 있는 확장 가능한 솔루션을 제공하여, 시각-의미론적 정렬을 위한 더 견고한 신호를 제공합니다. 이 프레임워크는 후보 생성과 타겟 판별을 분리하는 것이 정렬 오류를 효과적으로 줄이고 세그멘테이션 정확도를 높일 수 있음을 입증합니다.