🤖 AI

FOCUS: Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

이 논문은 시각적 지원 제약(visual support constraints)과 GRPO(Group Relative Policy Optimization)를 결합하여 명시적인 감독 없이도 강건하고 범주에 구애받지 않는 인컨텍스트 객체 로컬라이제이션을 달성하는 2단계 학습 프레립워크인 FOCUS를 소개하며, 이를 통해 7B 파라미터 모델이 훨씬 더 큰 72B 모델을 유의미하게 능가하도록 한다.

원저자: Mohammed Asad Karim, Vinay Kumar Verma

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammed Asad Karim, Vinay Kumar Verma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 책은 기가 막히게 잘 읽지만, 지저ка로운 방에서 물건을 찾는 데는 젬병인 친구가 있다고 상상해 보세요. 만약 당신이 "빨간 컵 찾아봐"라고 말한다면, 그 친구는 '컵'이 무엇인지 알기 때문에 아무 빨간 컵이나 찾으려 할 것입니다. 하지만 만약 당신이 "이 사진에 있는 것처럼, 테두리에 이가 나간 바로 '그' 특정 빨간 컵을 찾아봐"라고 말한다면 어떻게 될까요? 평범하게 똑똑한 친구는 일반적인 '컵'에 대한 지식에 의존하느라, 당신이 준 구체적인 시각적 단서들을 놓치고 다른 빨간 컵을 집어 들며 혼란스러워할 수도 있습니다.

이 논문은 컴퓨터 비전 모델(이미지를 보고 이해하는 AI)이 정확히 그렇게 할 수 있도록 가르치는 새로운 방법을 소개합니다. 즉, 물체의 이름이나 범주에 의존하지 않고 오로지 시각적 예시만을 바탕으로 특정 물체를 찾는 법을 가르치는 것입니다.

이 논문에서 제안하는 방식인 FOCUS의 핵심 내용을 쉬운 비유를 들어 설명해 드리겠습니다.

문제점: "이름표"라는 지팡이 (The "Name-Tag" Crutch)

현재의 AI 모델들은 수학 문제를 풀 때 논리를 이해하기보다 숫자의 이름을 외워서 푸는 학생들과 같습니다.

문제점: 이러한 모델들이 새로운 사진 속의 물체를 찾으려고 할 때, 구체적인 시각적 세부 사항(예: 모양, 위치, 혹은 독특한 흠집 등)은 무시하고 대신 물체의 이름(예: "개니까 대략 이렇게 생겼겠지")을 바탕으로 추측해 버립니다.
결과: 만약 당신이 모자 쓴 강아지 사진을 보여주며 수많은 강아지들 사이에서 "바로 저 강아지"를 찾아보라고 한다면, 모델은 '그' 강아지가 아닌 '강아지'라는 일반적인 개념에 집중하다가 엉뚱한 강아지를 선택할 수 있습니다.

해결책: FOCUS (Forcing In-Context Object Localization)

저자들은 AI가 이름을 보고 추측하는 것을 멈추고 시각적 증거를 보고 찾도록 만드는 2단계 훈련법을 만들었습니다.

1단계: "스포트라이트" 훈련 (Attention Optimization)

아이에게 숨겨진 장난감을 찾는 법을 가르친다고 상상해 보세요. "곰 인형 찾아봐"라고 말하는 대신, 장난감 사진을 가리키며 "바로 여기를 봐"라고 말하는 것과 같습니다.

방법: 그들은 훈련 과정에서 모든 텍스트 레이블(예: "고양이", "자동차", "개")을 제거했습니다. AI는 오직 일련의 이미지들만 봅니다. 즉, 타겟 물체 주변에 박스가 그려진 이미지들과, 마지막으로 동일한 물체가 어디 있는지 맞춰야 하는 최종 이미지만을 보게 됩니다.
비결: 그들은 '스포트라이트' 역할을 하는 특별한 규칙(손실 함수, loss function)을 추가했습니다. 만약 AI의 내부적인 '눈'(주의력, attention)이 이미지의 엉뚱한 부분을 보거나 예시 사진 속의 박스를 무시한다면, 시스템은 AI에게 "엄지 아래로(thumbs down)"를 줍니다. 이를 통해 AI는 다음과 같이 학습하게 됩니다. "나는 단순히 이 물체의 이름이 무엇인지 추측하는 것이 아니라, 예시에 나타난 구체적인 형태와 위치를 반드시 보아야 한다."

2단계: "코치의 휘슬" (Reinforcement Learning with GRPO)

AI가 어디를 봐야 하는지 알게 된 후에도, 여전히 정밀함이 필요합니다. 운동선수가 공을 던지는 연습을 하는 것을 지켜보는 코치를 상상해 보세요.

방법: 그들은 **GRPO(Group Relative Policy Optimization)**라고 불리는 기술을 사용했습니다. 이것은 단순히 "잘했어" 또는 "못했어"라고 말하는 코치가 아니라, 선수에게 공 던지기를 다섯 번 시도하게 한 뒤 비교하는 코치와 같습니다.
비교: 코치는 다섯 번의 투구 동작을 비교합니다. 만약 어떤 투구가 다른 것들보다 약간 더 훌륭하다면, 코치는 "그 동작을 더 많이 해봐"라고 말합니다. 반대로 어떤 투구가 형편없다면 "그 동작은 하지 마"라고 말합니다.
보상: AI는 자신이 그린 박스가 실제 물체와 얼마나 잘 일치하는지(IoU라는 지표를 사용하며, 이는 두 도형이 얼마나 겹치는지를 측정하는 것과 같습니다)에 따라 '점수'를 받습니다. 자신의 시도를 끊임없이 비교하고 가장 좋은 것을 선택함으로써, AI는 극도로 정밀하게 박스를 그리는 법을 배웁니다.

결과: 작은 뇌, 큰 승리 (Small Brain, Big Wins)

이 논문에서 가장 놀라운 부분은 사용된 모델의 크기입니다.

그들은 70억 개의 파라미터(매우 똑똑하지만 컴팩트한 뇌라고 생각하세요)를 가진 모델을 훈련시켰습니다.
그리고 이 모델을 720억 개의 파라미터(거대한 뇌)를 가진 거대 모델들과 비교했습니다.
결과: 그들의 작고 특수하게 훈련된 모델이 거대 모델들을 이겼습니다. 이는 AI에게 '어떻게 볼 것인가'(전략)를 가르치는 것이 단순히 AI를 더 크게 만드는 것(규모 확장)보다 더 중요하다는 것을 입증했습니다.

왜 이것이 중요한가 (논문에 따르면)

이 논문은 이 방법이 다음과 같은 상황에서 매우 중요하다고 주장합니다:

물체에 이름이 없는 경우: 특이하게 생긴 바위나 표준 카테고리에 속하지 않는 맞춤형 도구를 찾아야 할 때.
"바로 그" 특정 아이템을 찾아야 하는 경우: 사진 편집 시 다른 모든 사람이 아닌, 당신이 가리킨 '그 특정 사람'만을 제거하고 싶을 때.
개인화된 검색: 수많은 파란색 머그컵들 사이에서 "나의 특정 파란색 머그컵"을 찾아야 할 때.

요약하자면, 이 논문은 AI가 '사전'에 의존하는 것을 멈추고 '눈'에 의존하도록 가르쳐서, 이전에 본 적 없는 물체라도 참조 사진을 통해 군중 속에서 특정 대상을 찾아낼 수 있게 만드는 방법을 다루고 있습니다.

기술 요약: FOCUS – 시각적 지원 제약 및 정책 최적화를 통한 인컨텍스트 객체 로컬라이제이션 강제화

1. 문제 정의 및 동기

**인컨텍스트 객체 로컬라이제이션(In-Context Object Localization, ICOL)**은 추론 시점에 파라미터 업데이트나 특정 대상에 대한 학습 없이, 오직 제공된 소수의 시각적 지원 예시(바운딩 박스가 포함된 이미지)만을 기반으로 쿼리 이미지 내의 특정 타겟 객체를 식end하고 위치를 찾는 작업입니다.

비전-언어 모델(VLM)이 크게 발전했음에도 불구하고, ICOL 분야의 현실적이고 범주 불가지론적(category-agnostic)인 설정에서는 여전히 어려움을 겪고 있습니다. IPLoc과 같은 기존 방식은 순수한 시각적 증거보다는 **시맨틱 프라이어(semantic priors, 예: 카테고리 이름 또는 의사 라벨)**에 의존하는 경우가 많습니다. 이는 다음과 같은 두 가지 결정적인 실패 모드로 이어집니다:

카테고리 편향(Category Bias): 모델이 지원 예시에서 정의된 특정 인스턴스가 아니라, 해당 카테고리의 가장 전형적이거나 시각적으로 눈에 띄는 인스턴스를 로컬라이즈하는 경향이 있습니다 (예: 특정 '그릇' 대신 일반적인 '그릇'을 로컬라이즈함).
약한 시각적 그라운딩(Weak Visual Grounding): 현재 모델의 어텐션 메커니즘은 쿼리 이미지 전체에 주의력을 분산시키거나 카테고리 토큰에 과도하게 의존하며, 지원 바운딩 박스가 제공하는 기하학적 및 공간적 단서에 집중하지 못하는 경향이 있습니다.

본 논문은 개인화된 시각 검색이나 인스턴스 단위의 이미지 편집과 같은 응용 분야를 위해, 모델이 텍스트 카테고리 라벨로부터 완전히 분리되어 **시각적 대응(visual correspondence)**과 공간적 추론만을 기반으로 타겟을 추론해야 한다고 주장합니다.

2. 방법론: FOCUS 프레임워크

저자들은 시각적 그라운딩을 강제하고 카테고리 편향을 제거하기 위해 설계된 2단계 학습 프레임워크인 FOCUS를 제안합니다. 이 접근 방식은 카테고리 불가지론적 전제하에 작동합니다. 즉, 모델은 프롬프트에 카테고리 이름 없이 오직 시각적 입력(지원 이미지 및 해당 바운딩 박스)과 쿼리 이미지만을 전달받습니다.

1단계: 어텐션 기반 바운딩 박스 최적화 (지도 미세 조정)

첫 번째 단계는 모델의 잠재 어텐션 맵(latent attention maps)이 공간적 주석을 우선시하도록 명시적으로 최적화함으로써 "약한 어텐션" 문제를 해결합니다.

프롬프트 명세: 입력은 자연어 지시문, 바운딩 박스가 포함된 지원 이미지(텍텍스트 토큰으로 직렬화됨), 그리고 쿼리 이미지가 교차 배치된 시퀀스입니다. 결정적으로, 카테고리 이름은 포함되지 않습니다.
어텐션 손실 ( $L_{bbox}$ ): 저자들은 모델의 쿼리 이미지 토큰으로부터의 어텐션 가중치가 지원 이미지의 바운딩 박스 주석 토큰에 집중되도록 강제하는 손실 함수를 도입합니다.
- 이진 마스크를 사용하여 BBOX 토큰과 비 BBOX 토큰을 구분합니다.
- 손실 함수는 마진 기반 힌지 손실(margin-based hinge loss)을 최소화하여, 모델이 시맨틱한 지름길에 의존하는 대신 BBOX 토큰( $p^+$ )에 더 높은 어텐션 질량(attention mass)을 할당하도록 유도합니다 ( $p^-$ 대비).
- 이를 통해 모델은 시맨틱한 지름길에 의존하기보다 지원 예시가 제공하는 기하학적 제약 조건에 "주목"하는 법을 배웁니다.
구현: 이 단계는 기본 VLM(예: Qwen2-VL-7B)에 LoRA(Low-Rank Adaptation)를 적용한 지도 미세 조정(SFT)을 활용합니다.

2단계: 그룹 상대 정책 최적화(GRPO)를 통한 강화 학습

두 번째 단계는 예측된 바운딩 박스의 정밀도를 정교화합니다.

목표: 로컬라이제이션 오차(IoU)를 최소화하고 출력의 구문적 정확성을 보장하는 것입니다.
보상 함수: 결합된 보상 $R$ $R$ 이 사용됩니다:
1. IoU 보상 ( $r_{iou}$ ): 예측된 박스와 실제 정답(ground truth) 사이의 IoU(Intersection-over-Union)입니다.
2. 포맷팅 보상 ( $r_{fmt}$ ): 출력이 요구되는 형식(예: <answer>[x_min, y_min, x_max, y_max]</answer>)을 따르는지에 대한 이진 보상입니다.
최적화: 정책을 업데이트하기 위해 GRPO가 채택되었습니다. PPO와 달리 GRPO는 학습된 크리틱(critic)을 필요로 하지 않으며, 대신 샘플링된 출력들을 그룹 내 평균 보상과 비교하여 어드밴티지(advantage)를 계산합니다. 이는 퓨샷(few-shot) 설정에서 학습을 안정화하고 고품질의 정렬을 직접적으로 최적화합니다.

3. 주요 기여

카테고리 불가지론적 프레임워크: 본 논문은 프롬프트에서 모든 카테고리 이름을 제거하여 순수하게 시각적 외형과 기하학에만 의존하도록 강제하는 순수 시각적 인컨텍스트 로컬라이제이션 환경을 도입했습니다.
어텐션 맵 최적화: VLM이 시맨틱 프라이어를 선호하여 공간적 제약을 무시하는 경향을 교정하기 위해, 모델의 어텐션을 지원 바운딩 박스 토큰과 명시적으로 정렬시키는 새로운 손실 함수를 제안했습니다.
GRPO 기반 정교화: 그룹 상대 정책 최적화(GRPO)의 통합을 통해 IoU를 직접 최소화하고 엄격한 출력 형식을 강제하여 인스턴스 수준의 정밀도를 향상시켰습니다.
효율성 및 확장성: 저자들은 이러한 목적 함수로 학습된 7B 파라미터 모델이 훨씬 더 큰 모델(최대 72B 파라미터)을 능가함을 입증하여, 컨텍스트 인식 로컬라이제이션 목적 함수가 단순한 모델 스케일링보다 더 중요하다는 것을 증명했습니다.

4. 실험 결과

저자들은 TAO, GOT-10k, LaSOT, PerSeg, PerMIRS를 포함한 다양한 벤치마크에서 FOCUS를 평가했습니다.

베이스라인 대비 성능: FOCUS(Qwen2-VL-7B 기반)는 IPLoc(7B), Qwen2-VL-72B, InternVL2-76B와 같은 강력한 베이스라인을 크게 앞지르는 최첨단(SOTA) 결과를 달성했습니다.
- GOT-10k (제로샷 카테고리 일반화)에서 FOCUS는 82.6% (4-shot)를 달ach하여, 72B 파라미터 규모의 Qwen2-VL 모델(59.9%)을 큰 차이로 능가했습니다.
- TAO (오픈 월드, 멀티 객체)에서 FOCUS는 68.5% (4-shot)에 도달하여, Qwen2-VL-72B의 55.6%와 비교해 우수한 성과를 보였습니다.
일반화: 모델은 미학습 카테고리와 도메인 변화(예: PerSeg의 합성 데이터)에 대해 견고한 일반화 능력을 보여주었으며, 카테고리 의존적 모델들이 인스턴스를 구별하지 못하는 상황에서도 높은 성능을 유지했습니다.
절제 연구(Ablation Studies):
- 어텐션 손실을 제거했을 때 성능이 크게 하락하여, BBOX 토큰에 어텐션을 강제하는 것의 필요성을 확인했습니다.
- SFT + 어텐션 손실 위에 GRPO를 추가했을 때 TAO의 4-shot 설정에서 **11.4%**의 추가 이득을 얻었습니다.
- 어텐션 손실을 트랜스포머의 앞쪽 5개 레이어에 적용하는 것이 그라운딩에 가장 효과적임을 발견했으며, 이는 초기 레이어가 공간적 대응을 확립하는 데 결정적임을 시사합니다.

5. 의의 및 주장

본 논문은 FOCUS가 인컨텍스트 로컬라이제이션을 시맨틱 검색 작업이 아닌 시각적 추론 작업으로 성공적으로 재정의했다고 주장합니다. 카테고리 감독을 제거하고 어텐션 제약과 정책 최적화를 통해 엄격한 시각적 대응을 강제함으로써, 모델은 견고한 인스턴스 수준의 그라운딩을 달고합니다.

저자들은 자신들의 접근 방식이 단순히 모델 크기를 키우는 것보다 특화된 학습 목적 함수가 더 우수한 성능을 낼 수 있음을 보여준다고 강조합니다. FOCUS를 적용한 7B 모델이 72B 모델보다 뛰어난 성능을 보이는 것은, 카테고리 불가지론적 객체 로컬라이제이션 문제를 해결하는 데 있어 거대한 파라미터 수에 의존하는 것보다 "컨텍스트 인식 로컬라이제이션 목적 함수"가 더 효율적인 경로임을 입증합니다. 이 연구는 사용자 주도의 인스턴스 특정 응용 분야를 위해, 모델이 시맨틱 프라이어를 무시하고 오직 시각적 증거에만 집중하도록 학습되어야 함을 시사합니다.