Grasp Any Region: Towards Precise, Contextual Pixel Understanding for Multimodal LLMs

이 논문은 전역적 맥락과 객체 간 상호작용을 고려하여 정밀한 영역 이해와 복합적 추론을 가능하게 하는 'Grasp Any Region(GAR)' 모델과 이를 평가하는 벤치마크를 제안하며, 기존 모델들을 능가하는 성능을 입증합니다.

핵심

1. 기존 모델의 문제점: "초점만 맞춘 안경"

기존의 인공지능 모델들은 이미지를 볼 때 전체 장면을 한눈에 보는 능력은 뛰어났습니다. 하지만, 이미지의 특정 부분 (예: 구석에 있는 작은 물체) 을 자세히 보려고 할 때는 실수를 많이 했습니다.

• 비유: 마치 망원경을 들고 숲속을 바라보는 상황입니다.
  • 망원경으로 나뭇잎 하나를 아주 가까이서 보면 (세부 정보), 그 나뭇잎이 '실제 나뭇잎'인지, 아니면 '나뭇잎 모양의 장난감'인지 구별하기 어렵습니다. 주변 환경 (숲 전체) 을 보지 못하기 때문입니다.
  • 반대로 숲 전체를 보면 (전체 맥락), 나뭇잎의 디테일은 흐릿해집니다.
  • 기존 모델들은 이 두 가지를 동시에 잘 하지 못해, "개구리 모양의 슬리퍼"를 보고 "실제 개구리"라고 잘못 말하거나, 거울에 비친 그림자를 실제 사물이라고 착각하는 실수를 저질렀습니다.

2. GAR 모델의 핵심 아이디어: "현명한 탐정"

이 논문에서 제안한 GAR(Grasp Any Region) 모델은 이 문제를 해결하기 위해 두 가지 능력을 동시에 갖췄습니다.

A. "RoI 정렬 특징 재생" (RoI-aligned Feature Replay)

이 기술은 GAR 가 이미지를 볼 때 한 번에 전체를 보면서도, 관심 있는 부분만 확대해서 보는 방식을 사용합니다.

• 비유: 현명한 탐정을 상상해 보세요.
  • 탐정은 사건 현장 (이미지 전체) 을 먼저 훑어보며 분위기 (맥락) 를 파악합니다.
  • 그리고 특정 단서 (사용자가 지정한 부분) 가 궁금해지면, 현장 전체를 잃지 않은 채 그 단서만 확대경으로 자세히 들여다봅니다.
  • 그래서 "이건 개구리 모양의 슬리퍼야. 왜냐하면 주변에 침대와 베개가 있거든"이라고 정확히 추론할 수 있습니다.

B. "여러 지시사항을 한 번에 이해" (Multiple Prompts Interaction)

기존 모델은 한 번에 하나의 물체만 설명하는 데 익숙했지만, GAR 는 여러 개의 물체 사이의 관계를 이해합니다.

• 비유: 축구 경기 해설가가 되어보세요.
  • 기존 모델은 "공이 여기 있다", "선수가 저기 있다"라고 개별적으로 말합니다.
  • GAR 는 "선수가 공을 차고, 그 공이 골대 쪽으로 날아가고, 골키퍼는 그 공을 막으려고 점프한다"처럼 여러 요소가 어떻게 상호작용하는지 이야기할 수 있습니다.

3. 새로운 시험지: "GAR 벤치 (GAR-Bench)"

이 모델이 얼마나 똑똑한지 확인하기 위해, 연구팀은 새로운 시험지를 만들었습니다.

• 기존 시험: "이 그림의 개는 무슨 색이야?" (단순한 질문)
• GAR 벤치: "거울에 비친 개와 실제 개 중, 누가 거울 안에 있는 거야?" (맥락 이해 필요)
  • 이 시험지는 단순히 물체를 설명하는 것을 넘어, 여러 물체 간의 복잡한 관계와 **거울, 그림자 같은 비실체 (Non-Entity)**를 구별하는 능력을 평가합니다.

4. 놀라운 성과: "작은 몸집, 큰 두뇌"

실험 결과, GAR 모델은 놀라운 성과를 보였습니다.

• 크기 대비 성능: GAR-1B(10 억 파라미터) 모델은 **InternVL3-78B(780 억 파라미터)**라는 거대 모델보다 더 좋은 성적을 냈습니다.
  • 비유: 작은 체구의 천재 체조 선수가 거대하지만 둔한 거인보다 더 유연하고 정확한 동작을 보여주는 것과 같습니다.
• 영상 이해 능력: 이 모델은 정지된 이미지로만 훈련되었음에도 불구하고, 동영상에서도 뛰어난 성능을 발휘했습니다. 마치 정지된 사진을 보고도 "다음에 무슨 일이 일어날지" 유추할 수 있는 직관을 가진 것과 같습니다.

5. 결론: "수동적인 관찰자에서 능동적인 대화자로"

이 연구의 핵심은 인공지능이 단순히 "이게 뭐야?"라고 물으면 대답하는 수동적인 관찰자를 넘어, 사용자가 "저기 있는 개와 저기 있는 고양이 사이에는 무슨 관계가 있어?"라고 물으면 능동적으로 분석하고 대화할 수 있는 단계로 나아갔다는 점입니다.

한 줄 요약:

GAR 모델은 "전체 맥락을 놓치지 않으면서 세부 사항을 파고들 수 있는 현명한 탐정"처럼, 복잡한 이미지 속의 여러 물체들이 서로 어떤 관계를 맺고 있는지 정확하게 이해하고 설명해 주는 인공지능입니다.

이 기술은 앞으로 의료 영상 분석, 자율 주행, 복잡한 장면 이해 등 다양한 분야에서 더 정밀한 인공지능 서비스를 가능하게 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 은 이미지 전체에 대한 통합적인 이해 (holistic understanding) 와 일반적인 질문 답변에는 탁월한 성능을 보이지만, 복잡한 장면 내에서 밀집된 (dense) 세부 사항과 객체 간의 미묘한 상호작용을 파악하는 데에는 한계가 있습니다.

기존의 '지역 기반 (Region-level)' MLLM 연구들은 특정 영역 (박스 또는 마스크) 을 입력으로 받아 해당 영역을 설명하는 데 초점을 맞추었습니다. 그러나 이러한 접근 방식에는 두 가지 주요 결함이 존재합니다:

1. 전체적 맥락의 부재 (Lack of Global Context): 특정 지역을 고립된 개체로만 처리하여, 해당 객체가 실제 사물인지 아니면 거울에 비친 상인지, 혹은 특정 형태의 슬리퍼인지 등을 구분하는 데 필요한 **전체 장면의 맥락 (Global Context)**을 무시합니다. (예: 개구리 모양 슬리퍼를 실제 개구리로 오인하는 사례)
2. 다중 프롬프트 간 상호작용 모델링의 부재: 여러 개의 관심 영역 (Prompts) 이 주어졌을 때, 이들 간의 복잡한 관계 (위치, 상호작용, 논리적 연결) 를 추론하는 능력이 부족합니다.

2. 방법론 (Methodology)

저자들은 **Grasp Any Region (GAR)**이라는 새로운 MLLM 아키텍처를 제안하여 지역 수준의 정밀한 이해와 전역적 맥락의 통합을 동시에 달성합니다.

2.1 핵심 아키텍처: RoI-Align Feature Replay

GAR 의 핵심 혁신은 RoI-Align Feature Replay 기술입니다.

• 전체 이미지 인코딩: 입력된 전체 이미지 (자르지 않은 원본) 와 마스크 프롬프트를 함께 AnyRes 를 통해 인코딩하여 **전역적 맥락이 포함된 특징 맵 (Global Feature Map)**을 생성합니다.
• RoI-Align 적용: 입력된 마스크에 해당하는 관심 영역 (Region of Interest) 에 대한 바운딩 박스를 도출한 후, RoI-Align 기법을 사용하여 전체 특징 맵에서 해당 영역의 특징 벡터를 직접 추출합니다.
• 효과: 이 방식은 지역적 세부 사항 (고해상도 특징) 을 유지하면서도, 해당 특징이 전체 이미지에서 추출되었기 때문에 필요한 전역적 맥락 (Global Context) 을 자연스럽게 포함하게 됩니다. 이는 기존에 지역만 잘라내어 처리하거나 (Crop-based), 전역 특징을 단일 벡터로 평균화 (Pooling) 하여 세부 정보를 잃어버리는 기존 방법들의 단점을 해결합니다.

2.2 프롬프트 인코딩 및 통합

• 입력된 이진 마스크 (Binary Mask) 를 경량 합성곱 블록을 통해 처리하여 Mask Embedding을 생성합니다.
• 이 마스크 임베딩은 비전 트랜스포머 (ViT) 의 패치 임베딩 (Patch Embedding) 에 추가되어, 모델이 시각적 특징과 공간적 프롬프트를 동시에 인식하도록 합니다.

2.3 학습 데이터 파이프라인 (Training Data Pipeline)

모델의 능력을 단순 객체 인식에서 복잡한 관계 추론으로 확장하기 위해 3 단계의 데이터 구축 과정을 거칩니다:

1. 정밀 인식 강화 (Fine-Grained Recognition): Describe Anything-1.5M 데이터셋과 ImageNet-21K 의 세분화된 카테고리 정보를 결합하여 456K 개의 고정밀 설명 데이터를 생성하고, 이를 통해 'Seed Captioner'를 학습시킵니다.
2. 다중 프롬프트 상호작용 지원 (Multi-Prompt Interaction): Panoptic Scene Graph (PSG) 데이터셋을 활용하여 객체 간의 관계 (Relation) 를 학습합니다. Qwen2.5-72B 를 활용하여 144K 개의 관계 인식 설명, 144K 개의 질문 - 답변 쌍, 126K 개의 객관식 문제를 생성하여 총 414K 개의 관계 인식 데이터셋을 구축합니다.
3. 최종 학습: 위 두 단계의 데이터와 기존 데이터를 통합하여 GAR 모델을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. GAR 모델 (Grasp Any Region):

   • 정밀한 지각 (Precise Perception): 전역 맥락을 활용하여 지역적 세부 사항을 정확하게 설명합니다.
   • 다중 프롬프트 상호작용 모델링: 임의의 개수 프롬프트 간의 관계를 추론할 수 있습니다.
   • 고급 구성적 추론 (Advanced Compositional Reasoning): 자유 형식의 질문에 대해 특정 영역과 그 주변 맥락을 종합하여 답변할 수 있습니다.

2. GAR-Bench (새로운 벤치마크):

   • 기존 벤치마크가 단일 프롬프트의 설명 품질에 치중했던 것과 달리, 다중 프롬프트 간의 상호작용과 복합적 추론 능력을 평가합니다.
   • GAR-Bench-Cap: 다중 프롬프트 간의 관계를 설명하는 캡션 생성 태스크.
   • GAR-Bench-VQA:
     • Perception: 색상, 모양, 질감 등 기본 속성 인식.
     • Reasoning: 위치 (Position), 비실체 인식 (Non-Entity Recognition, 예: 거울 속 상 vs 실제 사물), 다중 객체 관계 (Relation) 추론.

3. RoI-Align Feature Replay 기술:

   • 전역 맥락과 지역 세부 정보를 동시에 유지하는 효율적인 특징 추출 방식을 제안하여, 지역 기반 MLLM 의 근본적인 딜레마를 해결했습니다.

4. 실험 결과 (Results)

• GAR-Bench 성능:

  • GAR-1B는 전체 점수 50.6 을 기록하여, 78B 규모의 거대 모델인 InternVL3-78B (50.5) 를 능가했습니다.
  • 특히 다중 프롬프트 관계 추론 (Relation) 및 비실체 인식 (Non-Entity) 태스크에서 뛰어난 성능을 보였습니다.
  • GAR-8B는 비공개 최상위 모델인 GPT-4o를 능가하는 성능을 보여주었습니다.

• 세부 지역 캡션 (Detailed Localized Captioning):

  • DLC-Bench와 Ferret-Bench에서 기존 SOTA 모델인 DAM-3B 및 PAM-3B를 크게 상회하는 성능을 기록했습니다. (예: DLC-Bench 에서 DAM-3B 대비 +4.5 점 향상).
  • MDVP-Bench에서는 GAR-8B 가 자연어 이미지 분야에서 178.6 점으로 모든 경쟁 모델을 압도했습니다.

• 비디오 확장성 (Video Extension):

  • 이미지로만 학습된 GAR-8B가 Zero-shot 설정에서 비디오 전용 모델인 VideoRefer-7B보다 VideoRefer-BenchQ에서 더 높은 성능을 기록했습니다. 이는 GAR 의 강력한 이해 능력이 비디오 영역으로 쉽게 전이될 수 있음을 시사합니다. (단, 급격한 모션 변화가 있는 경우에는 한계가 있음).

• 일반 멀티모달 벤치마크:

  • V*, MMVP, RealWorldQA 등 일반적인 멀티모달 벤치마크에서도 지역 기반 모델임에도 불구하고 강력한 일반화 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 LLM 이 **밀집된 시각 세계 (Dense Visual World)**를 이해하는 방식의 패러다임을 전환합니다.

• 수동적 관찰에서 능동적 대화로: 단순히 영역을 설명하는 것을 넘어, 사용자의 다양한 프롬프트에 기반하여 영역 간의 관계를 추론하고 복잡한 질문에 답하는 능동적인 대화형 이해를 가능하게 합니다.
• 맥락의 중요성 재확인: 지역적 세부 사항을 파악하는 것만으로는 부족하며, 이를 올바르게 해석하기 위해서는 **필수적인 전역적 맥락 (Global Context)**이 반드시 필요함을 입증했습니다.
• 차별화된 벤치마크: 기존 벤치마크가 놓치고 있던 '다중 객체 간 상호작용'과 '비실체 인식'과 같은 고난도 추론 능력을 체계적으로 평가할 수 있는 GAR-Bench 를 제시함으로써, 향후 연구의 방향성을 제시했습니다.

결론적으로, GAR 는 작은 모델 (1B) 로도 거대 모델의 추론 능력을 달성할 수 있음을 보여주며, 지역 기반 멀티모달 이해 분야에서 새로운 SOTA 를 확립했습니다.