UGround: Towards Unified Visual Grounding with Unrolled Transformers

UGround 는 강화 학습 기반의 확률적 스킵 연결 (SSC) 과 마스크를 프롬프트로 활용하는 MasP 기법을 통해 고정된 최종 은닉층 의존성과 공간적 단서 부재 문제를 해결하고, 속성 관점에서 지시어 분할부터 추론 분할, 단일/다중 타겟, 긍정/부정 쿼리에 이르기까지 통합된 비주얼 가딩 패러다임을 제시합니다.

핵심

1. 기존 방식의 문제점: "전화 게임"과 "나침반 없는 지도"

기존의 AI 모델들은 그림을 보고 말을 이해할 때, 두 가지 큰 문제를 겪고 있었습니다.

• 문제 1: "전화 게임"의 왜곡 (Fixed Last Layer)

  • 비유: imagine 하세요. 한 사람이 "빨간 사과"라고 말하고, 그 소리가 40 명의 사람 (AI 의 40 개 층) 을 거쳐서 마지막 사람 (마지막 층) 에게 전달되는 상황을 상상해 보세요.
  • 현실: 소리가 사람마다 전달될 때마다 조금씩 왜곡됩니다. 40 번을 거치면 마지막 사람은 원래 말과 완전히 다른 소리를 듣게 되죠.
  • 기존 AI: AI 는 이 '40 번 전달된 왜곡된 소리 (마지막 층의 정보)'만 믿고 그림을 그립니다. 중간에 "아, 여기가 빨간 사과야!"라고 수정해 줄 기회가 전혀 없었습니다.

• 문제 2: "나침반 없는 지도" ( 토큰)

  • 비유: AI 가 "저기 빨간 사과 그려줘"라고 할 때, 기존 방식은 "빨간 사과"라는 단어 자체만 그림 그리는 기계 (SAM) 에게 건넸습니다.
  • 현실: "빨간 사과"라는 단어는 어디에 있는지 좌표 (x, y) 를 알려주지 않습니다. 마치 "저기 빨간 사과 있어"라고 말만 하고 손가락으로 가리키지 않는 것과 같습니다. 그림 그리는 기계는 "어디에 그려야 하지?"라고 헤매게 됩니다.

---

2. UGround 의 해결책: "중간 지점 활용"과 "손가락 가리키기"

UGround 는 이 두 가지 문제를 해결하기 위해 두 가지 똑똑한 방법을 고안했습니다.

① "전화 게임"을 뚫고 중간에 끼어들기 (Unrolled Transformers & Stochastic Skip Connection)

• 비유: 이제 40 명 줄을 서 있는 사람들 중, 가장 잘 들리는 중간 10 번째, 20 번째, 30 번째 사람에게도 직접 말을 걸어보세요.
• UGround 의 방법: AI 는 마지막 층 (40 층) 만 믿지 않고, 중간 층들 사이를 자유롭게 오가며 가장 정확한 정보를 가진 층을 골라냅니다.
  • 마치 "전화 게임"을 하다가, 중간에 있는 친구에게 "이거 원래 '빨간 사과'야!"라고 바로 알려주는 것과 같습니다.
  • 이렇게 하면 정보가 왜곡되기 전에 바로 수정할 수 있어 훨씬 정확한 결과를 얻을 수 있습니다.

② "손가락 가리키기" (Mask as Prompt)

• 비유: 이제 "빨간 사과"라는 단어만 주는 게 아니라, **"사과가 있는 곳"을 미리 대략적으로 표시한 지도 (히트맵)**를 함께 줍니다.
• UGround 의 방법: AI 는 단어와 그림을 비교해서 "아, 이 부분이 사과와 가장 비슷하구나!"라는 **열기 지도 (Similarity Map)**를 만듭니다. 그리고 이 지도를 그림 그리는 기계에게 "이곳에 초점을 맞춰서 그려줘"라고 명확한 지시를 줍니다.
  • 단순히 "사과"라고 말하는 대신, "여기 (지도의 이 부분) 에 사과가 있어"라고 손가락으로 가리키는 효과를 냅니다.

---

3. 이 기술이 얼마나 대단한가요? (하나의 시스템으로 모든 것 해결)

기존에는 AI 모델이 하나씩 달랐습니다.

• "단순한 사과 찾기"를 하는 모델,
• "왜 사과가 빨간지 이유를 설명하며 찾기"를 하는 모델,
• "사과가 없으면 '없다'고 거절하는 모델"이 따로 있었습니다.

하지만 UGround는 하나의 시스템으로 이 모든 것을 다 해냅니다.

• 단일/복합: 사과 하나를 찾든, 사과와 배를 동시에 찾든 다 가능합니다.
• 이유 설명: "왜 그 새가 먹이를 잡았을까?" 같은 복잡한 질문에도 답하며 위치를 찾습니다.
• 거부 능력: "이미지에 없는 '보라색 코끼리'를 찾아줘"라고 하면, "없어요"라고 정중히 거절하고 "대신 검은 개가 있어요"라고 제안할 수도 있습니다.

---

4. 결론: 왜 이것이 중요한가요?

이 연구는 AI 가 그림을 볼 때, 단순히 마지막 단계의 결과만 믿지 않고, 과정 전체를 유연하게 활용하며 정확한 위치를 손가락으로 가리키듯 명확하게 지시할 수 있게 했습니다.

마치 숙련된 안내원이 되어, 복잡한 미로 (이미지) 속에서 사용자가 원하는 물체를 **가장 빠른 길 (중간 층)**로 안내하고, **정확한 위치 (손가락 가리키기)**를 알려주는 것과 같습니다. 덕분에 AI 는 더 똑똑하고, 더 정확하게, 그리고 더 안전하게 그림을 이해할 수 있게 되었습니다.

기술 요약

UGround: Unrolled Transformers 를 활용한 통합 비전 그라운딩 (Visual Grounding) 에 대한 기술 요약

이 논문은 UGround라는 새로운 통합 비전 그라운딩 (Visual Grounding) 패러다임을 제안합니다. 기존의 고정된 마지막 은닉층을 사용하는 방식의 한계를 극복하고, '언롤드 (Unrolled)'된 트랜스포머의 중간 레이어들을 동적으로 선택하여 '마스크를 프롬프트 (Mask as Prompt)'로 활용하는 혁신적인 접근법을 제시합니다.

1. 문제 정의 및 배경 (Problem Statement)

비전 그라운딩은 이미지나 비디오 내의 특정 영역을 텍스트 참조 표현 (Referring Expression) 과 정렬하는 작업입니다. 최근에는 단순한 객체 지정을 넘어 추론 (Reasoning), 다중 타겟 처리, 거짓 전제 (False Premise) 거부 등 다양한 속성 (Attribute Variation) 을 요구하는 새로운 태스크들이 등장했습니다.

그러나 기존 선행 연구들 (LISA, SESAME, PixelLM 등) 은 다음과 같은 두 가지 주요 한계를 가지고 있습니다:

1. 고정된 마지막 은닉층 의존성: 대부분의 모델이 텍스트 - 비전 모델 (LMM) 의 스택된 트랜스포머 중 **마지막 레이어 (Last Hidden Layer)**의 <SEG> 토큰 임베딩만을 사용하여 비전 모델 (예: SAM) 을 프롬프트합니다. 이는 전화 게임 (Telephone Game) 과 유사하게, 레이어를 거치며 누적되는 오차가 중간에 수정되지 않고 최종 단계까지 증폭되는 문제를 야기합니다.
2. 명시적 공간 단서의 부재: <SEG> 토큰은 텍스트 플레이스홀더일 뿐, 좌표와 같은 명시적인 공간 단서 (Spatial Cues) 를 내포하지 않습니다. 이는 텍스트 임베딩이 비전 공간으로 암시적으로 매핑되는 방식에 의존하므로, 정확한 위치 파악에 한계가 있습니다.

2. 제안 방법론: UGround

UGround 는 **Policy-Prompted Masking (PPM)**을 핵심으로 하는 통합 프레임워크입니다. 이는 두 가지 주요 구성 요소로 이루어져 있습니다.

2.1. 확률적 스킵 커넥션 (Stochastic Skip Connection, SSC)

• 동적 레이어 선택: LMM 의 모든 트랜스포머 레이어 (1 번부터 L 번까지) 를 '언롤드 (Unrolled)'하여, <SEG> 토큰이 각 레이어를 가로지르며 이동할 수 있게 합니다.
• 강화 학습 (RL) 기반 정책: 각 <SEG> 토큰이 비전 모델 (SAM) 과 연결될 최적의 레이어를 강화 학습 (Reinforcement Learning) 정책 (REINFORCE 알고리즘) 을 통해 확률적으로 선택합니다.
• 스킵 커넥션 및 드롭아웃 유사성: 선택된 레이어는 이후의 레이어들을 건너뛰고 (Skip), 직접 SAM 과 연결됩니다. 이는 여러 프론트워드 패스를 통해 모든 레이어가 SAM 과 연결되지만, 한 번의 패스에서는 하나의 경로만 활성화되는 드롭아웃 (Dropout) 메커니즘과 유사하게 작동하여 모델의 강건성을 높이고 예측 불확실성을 추정합니다.

2.2. 마스크 프롬프트 (Mask as Prompt, MasP)

• 유사도 맵 활용: 선택된 레이어에서 <SEG> 토큰과 이미지 토큰 간의 **유사도 맵 (Similarity Map)**을 계산합니다.
• 명시적 공간 단서 제공: 이 유사도 맵을 SAM 에 입력하는 **소프트 로그it 마스크 (Soft Logit Mask)**로 사용합니다. 이는 <SEG> 토큰 임베딩만 사용하는 기존 방식과 달리, 활성화 영역을 통해 명시적인 공간 단서를 제공합니다.
• 지도 학습: 유사도 맵이 정답 마스크 (Ground-truth) 와 얼마나 일치하는지에 대한 교차 엔트로피 (BCE) 및 Dice 손실을 통해 명시적으로 학습을 유도합니다.

3. 주요 기여 (Key Contributions)

1. 속성 기반 통합 (Unified Framework): 명시적/암시적 표현, 단일/다중 타겟, 긍정/거짓 전제 (Empty target) 등 기존에 분리되어 연구되던 다양한 비전 그라운딩 태스크를 하나의 프레임워크에서 통합하여 처리합니다.
2. 언롤드 트랜스포머 및 동적 레이어 선택: 고정된 마지막 레이어 대신, 중간 레이어들을 확률적으로 선택하여 SAM 과 연결하는 '스킵 커넥션' 방식을 도입했습니다. 이는 누적 오차를 줄이고 더 정확한 표현을 학습하게 합니다.
3. 명시적 공간 지도: 유사도 맵을 프롬프트로 사용하면서, 이를 정답 마스크와 비교하여 명시적으로 공간적 주의를 (Attention) 학습시킵니다.
4. SOTA 성능 달성: ReasonSeg, RefCOCO(+/g), gRefCOCO 등 다양한 벤치마크에서 기존 최첨단 모델들을 능가하는 성능을 기록했습니다.

4. 실험 결과 (Results)

UGround 는 다양한 데이터셋에서 뛰어난 성능을 입증했습니다:

• ReasonSeg (추론 분할):
  • ReasonSeg 테스트 세트에서 cIoU 9.0%p 향상 (RSVP-GPT 대비).
  • 13B 모델 기준 READ-13B 대비 gIoU 2.8%p, cIoU 2.7%p 향상.
• RefCOCO(+/g) (참조 분할):
  • GLaMM-7B 대비 RefCOCOg 테스트 (U) 에서 cIoU 1.2%p 향상 (76.1%).
  • 전반적으로 기존 SOTA 모델들보다 높은 일반화 성능을 보임.
• gRefCOCO (일반화된 참조 분할 및 다중 타겟):
  • GSVA-7B (ft) 대비 검증 세트에서 gIoU 5.99%p, cIoU 2.27%p, N-acc (거짓 전제 거부 정확도) 12.10%p 향상.
  • 특히 존재하지 않는 객체에 대한 질문을 정확히 거부하는 능력 (N-acc) 에서 큰 개선을 보였습니다.

5. 의의 및 결론 (Significance)

UGround 는 비전 그라운딩 분야에서 다음과 같은 중요한 의의를 가집니다:

• 패러다임 전환: 고정된 마지막 레이어 의존성을 탈피하고, 트랜스포머의 중간 표현을 적극적으로 활용하는 새로운 아키텍처를 제시했습니다.
• 유연성과 강건성: '마스크 프롬프트'와 '확률적 레이어 선택'을 통해 단일 모델이 복잡한 추론, 다중 객체, 그리고 거짓 전제 거부 등 다양한 시나리오를 처리할 수 있는 통합 능력을 갖추게 되었습니다.
• 실용성: 코드와 모델이 공개되어 있으며, 웹 대시보드를 통해 다양한 태스크를 통합적으로 지원할 수 있음을 시연했습니다.

결론적으로, UGround 는 LMM 과 비전 모델 간의 상호작용 방식을 재정의하여, 더 정확하고 강건하며 범용적인 비전 그라운딩 시스템을 구축하는 데 중요한 이정표가 됩니다.