🤖 AI

GRIT: Teaching MLLMs to Think with Images

본 논문은 자연어와 명시적인 바운딩 박스 좌표를 교차시켜 멀티모달 대형 언어 모델이 시각적으로 근거된 추론 체인을 생성할 수 있도록 하는 강화 학습 기반 방법인 GRIT 를 제안하며, 이는 주석 달린 추론 또는 국소화 레이블 없이도 높은 데이터 효율성을 달성합니다.

원저자: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 로봇에게 퍼즐을 푸는 법을 가르친다고 상상해 보세요. 보통 이 로봇에게 그림에 관한 질문을 하면, 말로만 답하려고 합니다. "새가 보입니다"라고 말할 수는 있지만, 실제로 그 새를 가리키지는 않습니다. 이는 어두운 방에서 위치를 설명할 때 오직 말만 사용하여 상대방이 어디를 보고 있는지 추측하게 하려는 것과 같습니다.

"GRIT: MLLM 에게 이미지로 생각하게 하기"라는 논문은 이러한 로봇들 (멀티모달 대규모 언어 모델, 즉 MLLM) 을 가르치는 새로운 방식을 제시합니다. 여기 간단한 비유를 사용한 해설이 있습니다:

1. 문제: "장님" 같은 사고방식

현재의 AI 모델들은 말하기는 뛰어나지만, 그림을 볼 때 순수한 텍스트로 "생각"하는 경향이 있습니다. 정답을 맞출 수는 있지만, 그 답을 찾기 위해 어디를 보았는지는 보여줄 수 없습니다. 이는 지문이나 증거를 보여 주거나 가리키지 않고 범인의 이름만 추측하여 사건을 해결하는 형사와 같습니다. 이로 인해 그들의 추론은 신뢰하기 어렵고 때로는 부정확합니다.

2. 해결책: "가리키는" 습관 (GRIT)

저자들은 GRIT(이미지와 텍스트를 활용한 근거 기반 추론) 이라는 방법을 개발했습니다. 단순히 말하는 대신, AI 가 생각할 때 가리키도록 가르치는 것입니다.

비유: AI 가 학생에게 지도를 설명하는 선생님을 상상해 보세요. 단순히 "보물이 저기에 있습니다"라고 말하는 대신, 지도의 그 자리에 상자를 그리고 "나는 여기 [상자 그리기] 를 보고 있으며 바위가 보이므로 보물은 그 옆에 있을 것입니다"라고 말합니다.
작동 원리: AI 는 일반적인 문장과 바운딩 박스(이미지의 특정 부분을 둘러싼 직사각형을 그리는 좌표) 가 혼합된 사고의 연쇄를 생성합니다. 이는 문자 그대로 문제를 해결하는 데 사용하는 이미지 부분을 가리키는 것입니다.

3. 핵심 비법: 시행착오를 통한 학습 (GRPO-GR)

보통 AI 에게 이렇게 복잡한 일을 가르치려면, 인간이 모든 단계를 서술하고 모든 박스를 그린 수천 개의 예시가 필요합니다. 이는 로봇을 위한 교과서를 쓰기 위해 교사 팀을 고용하는 것과 같습니다.

이 논문은 획기적인 주장을 합니다: GRIT 는 거의 예시가 필요 없습니다.

비유: 교과서를 읽는 대신, AI 는 비디오 게임을 하는 아이처럼 학습합니다. 그림과 질문을 주면 답을 시도합니다. 최종 답이 맞고 규칙 (박스를 그리는 것 등) 을 따르면 "높은 점수"(보상) 를 받습니다. 실패하면 낮은 점수를 받습니다.
마법: 연구자들은 AI 를 훈련시키기 위해 20 개의 예시(20 개의 연습 문제와 같음) 만 사용했습니다. AI 는 "높은 점수를 받으려면 말하면서 이미지로 가리켜야 한다"는 패턴을 알아냈습니다. 이를 GRPO-GR이라고 부르는데, 정답을 맞춘 것뿐만 아니라 올바른 "가리키기" 형식을 사용한 것에 대해 AI 를 보상하는 특수한 훈련 방법입니다.

4. 결과: 더 똑똑하고 더 정직한 AI

훈련된 로봇들을 테스트했을 때:

수학과 세는 능력 향상: "새집에 알이 몇 개 있나요?"라고 물으면 로봇은 단순히 숫자를 추측하지 않았습니다. 대신 알을 가리키고, "생각" 속에서 하나씩 세어본 후 답을 제시했습니다.
두 가지 기술의 통합: 이전에는 AI 가 말하기 (추론) 는 잘하거나 가리키기 (근거 기반) 는 잘했지만, 둘을 동시에 하지는 못했습니다. GRIT 는 이를 동시에 수행하도록 가르쳤습니다.
더 높은 신뢰도: AI 는 증거를 가리켜야 하므로 거짓말을 하기 어렵습니다. 만약 특정 곳을 가리키며 "고양이가 보입니다"라고 말했는데 거기에 고양이가 없다면, 시스템은 무언가 잘못되었음을 알게 됩니다.

5. 발견한 점 (그리고 발견하지 못한 점)

데이터 효율성: 거대한 데이터 라이브러리가 필요하지 않음을 입증했습니다. 로봇에게 이 새로운 "가리키기" 습관을 가르치는 데는 단 20 개의 예시만으로도 충분했습니다.
주의 집중: AI 가 특정 곳을 가리킬 때 (박스를 그릴 때), 다음 생각에서 실제로 그 부분의 이미지에 더 많은 주의를 기울입니다. 이는 가리키는 행위가 로봇이 눈을 집중하는 데 도움을 주는 것과 같습니다.
한계: 논문은 더 많은 데이터를 추가하면 도움이 되지만, 한계점이 있음을 지적합니다. 로봇이 아직 보지 못한 것들을 더 잘 처리하려면, 단순히 같은 데이터가 더 많은 것이 아니라 데이터의 다양성이 더 필요합니다.

요약하자면:
GRIT 는 AI 로봇이 말하면서 이미지로 가리키도록 강요함으로써 "눈으로 생각하게" 만드는 새로운 훈련 방법입니다. 거의 데이터 없이 (단 20 개의 예시) 이 복잡한 기술을 가르치고 AI 의 추론을 투명하고 신뢰할 수 있게 만든다는 점에서 큰 도약입니다.

, ...`) 및 바운딩 박스의 구문적 유효성 (정규식으로 감지됨) 을 평가합니다. 이 보상은 텍스트의 의미적 정확성이나 특정 영역을 제한하지 않으며, 형식만을 제한합니다. 2. Grounded-Target-Counting Reward ( $r_{count}$ ): 생성된 바운딩 박스의 수가 실제 정답 개수와 일치해야 하는 카운팅 작업을 위한 선택적 보상입니다. 3. GPT-Aided Answer-Accuracy Reward ( $r_{ans}$ ): 외부 VLM(GPT-4o) 을 사용하여 최종 답변의 정확성을 판단하고, BLEU 점수로 보완합니다.

주요 장점: 보상이 중간 추론 단계나 특정 바운딩 박스 위치가 아닌 형식과 최종 답변 정확성에 초점을 맞추기 때문에, GRIT 는 추론 체인 주석이나 명시적 바운딩 박스 레이블이 포함된 훈련 데이터가 필요하지 않습니다.

주요 기여

GRIT 프레임워크: 자연어와 명시적 바운딩 박스 좌표를 교차하여 생성하는 추론 체인을 통해 MLLM 이 "이미지로 사고"할 수 있게 하는 새로운 방법으로, 그라운딩과 추론 능력을 통합합니다.
GRPO-GR 알고리즘: 이미지 - 질문 - 답변 3 중체만 사용하여 MLLM 을 효율적으로 훈련시키는 강화 학습 알고리즘입니다. 새로운 형식 및 정확도 보상을 활용하여 중간 추론이나 그라운딩에 대한 비용이 많이 드는 밀집 주석에 대한 의존성을 제거합니다.
데이터 효율성: 이 방법은 기존 VQA 데이터셋 (VSR 및 TallyQA) 에서 추출한 20 개의 훈련 샘플만으로도 그라운딩 추론 능력을 달성하여 뛰어난 데이터 효율성을 입증합니다.
통합 능력: 실험 결과, GRIT 로 훈련된 모델은 종종 기본 MLLM 에서 분리되어 있는 그라운딩과 추론을 성공적으로 통합하여 일관되고 정확한 출력을 생성하는 것으로 나타났습니다.

실험 결과

저자들은 GRIT 로 훈련된 모델 (Qwen 2.5-VL 및 InternVL 3) 을 Direct Query, Chain-of-Thought (CoT), One-shot ICL, Few-shot SFT 를 포함한 베이스라인과 비교하여 VSR, TallyQA, GQA, MME, MathVista-mini, OVDEval 등 일곱 개의 테스트 세트에서 평가했습니다.

성능: GRIT 로 훈련된 모델은 GPT-as-judge 답변 정확도와 Grounding IoU(생성된 박스와 실제 정답 간의 교집합 대비 합집합 비율) 모두에서 모든 베이스라인을 능가했습니다. 특히, 20 개의 샘플만으로 훈련되었음에도 도메인 외 데이터에 대해 효과적으로 일반화되었습니다.
그라운딩 품질: 정성적 분석 결과, GRIT 모델은 불필요한 개체에 대한 오탐지를 피하면서 그라운딩이 필요한 시점을 동적으로 결정하는 것으로 나타났습니다.
크로스 모달 상관관계: "Vision-Language Reasoning Cross-Modal Correlation"이라는 새로운 지표는 GRIT 모델이 선택한 이미지 영역이 동반 텍스트와 높은 의미적 일관성을 보이며, Zero-shot ICL 및 Few-shot SFT 베이스라인을 능가함을 보여주었습니다.
주의 메커니즘: 주의 점수 분석 결과, 추론 체인에 바운딩 박스가 포함되면 후속 추론 단계에서 모델이 관련 시각 토큰에 더 크게 주의를 기울이는 것으로 나타났습니다.
확장성: 훈련 데이터를 20 개에서 7,000 개로 늘리면 도메인 내 성능은 향상되었으나, 도메인 외 작업에서는 체감 수익이 감소하고 일반화 어려움이 나타났습니다. 이는 일반화 측면에서 데이터 양보다 데이터 다양성이 더 중요함을 시사합니다.

중요성과 주장

이 논문은 GRIT 가 MLLM 이 시각적으로 그라운딩된 추론을 수행할 수 있게 하는 중요한 진전이라고 주장합니다. 모델이 사고 과정에서 명시적 시각 참조를 생성할 수 있게 함으로써, GRIT 는 "추론과 그라운딩 능력의 성공적인 통합"을 달성합니다.

저자들은 이것이 중간 단계에 대한 명시적 주석 없이 경량 RL 을 통해 교차된 시각 - 텍스트 추론을 달성한 첫 번째 오픈소스 접근법이라고 강조합니다. 연구는 극대 성능이 아닌 효율성 검증을 위해 더 작은 MLLM 에 초점을 맞추고 있지만, 최소한의 데이터로 복잡한 그라운딩 추론을 주입하는 것이 가능하다는 결과가 도출되었습니다. 논문은 향후 일반성 향상이 단순히 데이터 양을 늘리는 것보다 훈련 데이터의 다양성과 모델 사전 훈련에 더 의존할 것이라고 결론지었습니다.