Reasoning-Guided Part-Level Visual Grounding via Reinforcement Learning

당신이 로봇에게 세상을 보는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 커피 머그컵 사진을 보여주며 "머그컵이 어디에 있나요?"라고 묻습니다. 거대한 인공지능 두뇌인 멀티모달 대규모 언어 모델(MLLM)로 구동되는 로봇은 자신 있게 컵 전체를 가리킵니다. 전체 객체를 찾는 데는 아주 훌륭합니다. 하지만 당신이 더 까다로운 질문을 던집니다. "손잡이는 어디에 있나요?" 갑자기 로봇은 혼란에 빠집니다. 로봇은 여전히 머그컵 전체를 가리키며, 당신이 물어본 그 작고 구체적인 부분을 무시합니다. 이는 로봇이 주로 크고 온전한 사물을 인식하도록 훈련되었기 때문에 발생하는 문제로, 사물을 구성하는 작고 구체적인 부분들을 찾아내는 데 어려움을 겪는 것입니다.

이 논문은 바로 그 문제를 다룹니다. 연구자들은 이 AI 두뇌가 단순히 전체 객체를 추측하는 것을 멈추고, 인간처럼 생각하도록—즉, 먼저 큰 사물을 찾은 다음 그 안을 들여다보며 작은 부분을 찾는 법을—가르치고 싶어 했습니다. 그들은 단순히 로봇에게 더 많은 사진을 암기하게 시킨 것이 아니라, '강화 학습(Reinforcement Learning)'이라는 영리한 훈련법을 사용하여 로봇에게 새로운 "생각 방식"과 "검토 방식"을 가르쳤습니다. 이것은 마치 로봇에게 체크리스트를 주고, "머그컵을 잘 찾았지만, 이제 머그컵 전체를 포함하지 않고 머그컵 '안에서' 손잡이를 찾아내면 추가 점수를 주겠다"라고 말하는 보상 시스템을 제공하는 것과 같습니다.

문제점: "전체 머그컵" 편향

AI 모델을 백만 장의 플래시카드를 공부한 학생이라고 생각해 보세요. 모든 카드에는 강아지 사진과 "강아지"라는 단어가 적혀 있습니다. 이 학생은 강아지를 찾아내는 데 매우 능숙해졌습니다. 하지만 만약 당신이 사진을 보여주며 "강아지의 귀는 어디에 있나요?"라고 묻는다면, 학생은 여전히 강아지 전체를 가리킬 수도 있습니다. 학생은 귀가 꼬리나 발과는 구별되는 강아지의 '부분'이라는 사실을 배우지 못한 것입니다.

컴퓨터 비전의 세계에서 이것은 매우 중요한 문제입니다. 만약 로봇이 머그컵 손잡이를 잡아야 하거나, 의사가 장기 위의 특정 종양을 찾아내야 한다면, 전체 객체를 가리키는 것만으로는 충분하지 않습니다. 현재의 AI 모델들은 "객체 수준(object-level)"에서는 전문가이지만 "부분 수준(part-level)"에서는 초보자입니다. 그들은 구체적인 조각을 분리해 내는 어려운 작업 대신, 가장 쉽고 큰 박스를 잡아버리는 게으른 경향이 있습니다.

해결책: 3단계 탐정 게임

버지니아 공대 연구진은 **객체-부분 계층적 성찰적 그라운딩(Object-Part Hierarchical Reflective Grounding, OP-HRG)**이라는 새로운 전략을 고안했습니다. AI에게 한 번에 거대한 도약을 해서 답을 맞히라고 요구하는 대신, 그들은 과업을 구조화된 단계별 탐정 게임으로 나누었습니다.

AI가 학습하는 방식은 다음과 같습니다:

1. 1단계: 부모 찾기 ("머그컵"부터)
   AI가 "머그컵 손잡이"라는 쿼리를 보면 곧바로 손잡이로 뛰어들지 않습니다. 먼저 부모 객체인 머그컵 자체를 식별해야 합니다. 머그컵 전체에 박스를 그립니다. 이것은 "탐색 구역" 역할을 합니다. 이는 아이에게 "집 전체에서 빨간 양말을 찾으려 하지 말고, 먼저 세탁 바구니 안에서 찾아봐"라고 말하는 것과 같습니다.

2. 2단계: 부분 찾기 (안에 있는 "손잡이")
   이제 AI는 "탐색 구역"(머그컵)을 확보했으므로, 그 박스 안을 들여다보며 손잡이를 찾습니다. 손잡이만을 위한 더 작은 박스를 그립니다. 이를 통해 AI는 손잡이가 단순히 사진 어딘가에 떠 있는 것이 아니라, 머그컵 '안에' 있다는 것을 이해하게 됩니다.

3. 3단계: 자기 검토 ("잠깐, 좀 더 자세히 보자"의 순간)
   이 부분이 가장 멋진 부분입니다. AI는 박스를 그린 후 잠시 멈춰 자신의 작업을 비평해야 합니다. AI는 스스로에게 묻습니다. "내가 손잡이 박스를 너무 크게 그렸나? 실수로 머그컵 전체를 포함하지 않았나?"

   • 능동적 지각의 반전: 이 자기 검토를 돕기 위해, AI는 방금 그린 손잡이 이미지를 실제로 "잘라내어(cut out)" 가까이서 살펴봅니다. AI는 이 크롭된 이미지를 재분석하여 박스가 충분히 타이트한지 확인합니다. 만약 박스가 너무 헐겁다면 좌표를 조정하고, 완벽하다면 그대로 둡니다.

어떻게 가르쳤는가: 비디오 게임 보상 시스템

AI에게 단순히 "더 잘해라"라고 말할 수는 없습니다. 올바른 행동을 했을 때 보상을 주어야 합니다. 연구진은 **강화 학습(구체적으로 GRPO)**을 사용했습니다. 이것은 강아지를 간식으로 훈련시키는 것과 비슷하지만, 여기서 간식은 디지털 점수입니다.

연구진은 AI를 위한 특별한 규칙(보상)을 만들었습니다:

• "부모" 보상: 머그컵 전체를 먼저 정확히 찾는 데 점수를 얻습니다.
• "포함" 보상: 손잡이 박스가 머그컵 박스 '안에' 있을 때만 점수를 얻습니다. 만약 손잡이 박스가 밖으로 벗어나거나 머그컵 전체를 덮어버리면 점수는 0점입니다.
• "조밀함" 보상: 박스가 타이트하고 불필요한 배경을 포함하지 않으면 추가 점수를 얻습니다.
• "개선" 보상: 만약 AI가 2단계에서 엉망인 박스를 그렸지만, 3단계(자기 검토)에서 이를 수정했다면 보너스를 받습니다. 이는 한 번에 정답을 맞히는 것보다 실수하고 나서 고치는 것이 더 낫다는 것을 AI에게 가르칩니다.

결과: 작은 뇌, 큰 승리

팀은 상대적으로 작은 AI 모델(40억 파라미터)을 사용하여 이를 테스트했으며, 더 큰 모델(70억 파라미터) 및 다른 최첨단 시스템들과 비교했습니다.

결과는 놀라웠습니다. 이 "탐정 게임"과 특별한 보상으로 훈련된 그들의 40억 파라미터 모델은 여러 벤치마크에서 더 크고 강력한 모델들을 실제로 이겼습니다.

• PascalPart 데이터셋에서 그들의 모델은 38.59(정확도 척도인 gIoU)를 기록하며, 이전 최고 기록인 27.44를 넘어섰습니다.
• PartImageNet에서 그들은 56.87을 기록하며, 이전 최고 기록인 45.59를 앞질렀습니다.

더 인상적인 점은, 이러한 훈련이 전체 객체를 찾는 AI를 "멍청하게" 만들지 않았다는 것입니다. 이 모델은 부분을 찾는 데 더 능숙해졌을 뿐만 아니라, 전체 객체를 찾는 능력도 그대로 유지했습니다.

무엇을 배제했는가 (통제 변인)

연구진은 자신들의 성공이 단순히 더 많은 데이터를 주었거나 더 나은 "추측" 알고리즘을 사용했기 때문이 아님을 증명하기 위해 주의를 기울였습니다.

• 단순히 데이터 때문이 아님: 그들은 동일한 부분 중심 데이터를 사용하여 다른 모델들을 훈련시켰으나, 특별한 단계별 규칙 없이 학습된 모델들은 별로 개선되지 않았습니다. "탐정 게임"의 구조가 필수적이었습니다.
• 단순히 "자기 검토" 때문이 아님: 그들은 자기 검토 단계(크롭된 이미지 보기)가 도움이 되었지만, 가장 중요한 부분은 초기 단계인 "먼저 부모를 찾는 것"임을 발견했습니다. 자기 검토는 주로 훈련 과정 중에 AI가 더 정밀해지도록 돕는 코치의 역할을 했습니다.
• 단순히 마스크 디코더 때문이 아님: 그들은 AI가 최종 형태를 그리는 데 사용하는 도구(마스크 디코더)를 교체해 보았고, 개선이 드로잉 도구가 아닌 AI의 추론 능력에서 왔음을 확인했습니다.

이것이 왜 중요한가

이 논문은 어려운 문제를 해결하기 위해 반드시 더 크고 비싼 AI 두뇌를 만들 필요는 없다는 점을 시사합니다. 대신, 우리가 이미 가진 두뇌를 더 똑똑하고 구조적인 방식으로 생각하도록 가르칠 수 있습니다. 문제를 분해하도록(객체 찾기 -> 부분 찾기 -> 작업 검토) 강제하고 그 논리를 따랐을 때 보상을 줌으로써, 우리는 이전에는 도달할 수 없었던 수준의 세밀함을 끌어낼 수 있습니다. 이는 때때로 숲을 보는 가장 좋은 방법은 먼저 나무를 찾고, 그다음 잎사귀를 자세히 들여다보는 것임을 상기시켜 줍니다.