기존의 인공지능 (MLLM) 은 마치 혼자서 모든 일을 해결하려는 초보 탐정과 같았습니다. 그림을 보고 바로 결론을 내리려다 실수를 하거나, 복잡한 사건을 해결하는 과정에서 논리가 꼬여버리는 경우가 많았죠.
**Insight-V++**는 이 문제를 해결하기 위해 두 명의 전문가로 구성된 팀을 꾸렸습니다.
추리형 탐정 (Reasoning Agent):
역할: 사건 현장 (이미지나 영상) 을 꼼꼼히 조사하고, 단계별로 단서를 모으는 사람입니다. "이 사람은 왜 거꾸로 매달려 있을까?", "공이 왜 위로 날아갔을까?" 같은 질문을 던지며 긴 추리 과정을 작성합니다.
특징: 결론을 내리기 전에 가능한 모든 시나리오를 생각하고, 논리적 오류를 찾아냅니다.
신중한 판사 (Summary Agent):
역할: 탐정이 작성한 긴 추리 보고서를 읽고, "이 논리가 맞나? 중요한 건 뭐지?"를 판단하여 최종 판결 (정답) 을 내리는 사람입니다.
특징: 탐정이 실수한 부분이 있다면 지적하고, 올바른 부분만 골라내어 정확한 답을 도출합니다.
🚀 이 시스템이 기존과 다른 3 가지 핵심 비밀
1. "스스로 배우는 훈련소" (자가 진화 시스템)
기존에는 사람이 직접 정답과 오답을 가르쳐야 했지만, Insight-V++ 는 스스로 학습합니다.
비유: 탐정이 추리 과정을 작성하면, 판사가 "여기서 논리가 틀렸어"라고 피드백을 줍니다. 탐정은 이 피드백을 받고 다시 추리를 수정합니다. 이 과정을 반복하면서 두 사람은 서로의 실수를 고쳐주며 점점 더 똑똑해집니다. 마치 스스로 연습하고 피드백을 주고받는 운동 선수처럼 말이죠.
2. "정교한 훈련 도구" (ST-GRPO & J-GRPO)
이 시스템은 두 전문가에게 각각 맞는 특별한 훈련 방법을 적용했습니다.
추리형 탐정용 (ST-GRPO): 영상처럼 시간이 흐르며 변하는 상황 (공이 떨어지는 속도, 방향 등) 을 정확히 파악하도록 훈련합니다. 마치 시간이 흐르는 영화를 보고 사건의 흐름을 완벽하게 이해하는 훈련입니다.
신중한 판사용 (J-GRPO): 탐정이 쓴 보고서가 얼마나 신뢰할 만한지, 그리고 최종 답이 맞는지 판단하는 능력을 키웁니다. 가짜 뉴스와 진짜 사실을 구별하는 안목을 기르는 훈련이라고 볼 수 있습니다.
3. "무한한 문제지 생성기" (데이터 자동 생성)
사람이 직접 그림과 영상을 분석해 데이터를 만드는 건 너무 느리고 비쌉니다. 그래서 이 시스템은 스스로 복잡한 문제를 만들어내고, 그 문제를 스스로 풀고 평가합니다.
비유: 마치 스스로 문제를 내고, 스스로 풀고, 스스로 채점까지 하는 천재 학생처럼, 사람이 개입하지 않아도 수천, 수만 개의 복잡한 추리 문제를 만들어내며 실력을 늘립니다.
🌟 결론: 왜 이것이 중요한가요?
이 기술은 인공지능이 정말 '이해'하는 단계로 넘어가는 중요한 발걸음입니다.
이미지: "저기 공이 떨어진다"는 것을 넘어, "중력 때문에 떨어졌다"는 물리 법칙까지 추론할 수 있습니다.
영상: "사람이 걷는다"는 것을 넘어, "카메라가 뒤집혀 있어서 사람이 거꾸로 걷는 것처럼 보이지만 실제로는 정상이다"라는 복잡한 상황을 파악할 수 있습니다.
요약하자면, **Insight-V++**는 인공지능에게 "혼자서 막연히 추측하는 것"을 멈추게 하고, "논리적으로 단계를 밟아 생각한 뒤, 전문가가 검토하여 결론을 내리는" 인간과 같은 사고 방식을 가르친 획기적인 시스템입니다.
1. 문제 정의 (Problem)
최근 대규모 언어 모델 (LLM) 은 체인 오브 씽킹 (Chain-of-Thought, CoT) 및 오픈 AI o1 과 같은 고급 추론 기법을 통해 텍스트 기반 추론 능력에서 괄목할 만한 성과를 거두었습니다. 그러나 **멀티모달 대규모 언어 모델 (MLLM)**을 이미지 및 비디오 영역으로 확장하여 인간 수준의 장기적 추론 (Long-Chain Reasoning) 능력을 갖추게 하는 것은 여전히 큰 과제로 남아 있습니다.
주요 난제는 다음과 같습니다:
고품질 데이터 부족: 텍스트 데이터와 달리, 시각적 추론을 위한 고품질의 긴 추론 체인 데이터는 수집 비용이 매우 높고, 세밀한 주석 및 검증을 위해 많은 인력이 필요합니다.
비효율적인 학습 파이프라인: 기존 CoT 기법을 MLLM 에 직접 적용하는 것은 효과가 제한적이며, 특히 비디오와 같은 동적 환경에서 시간적 (Temporal) 과 공간적 (Spatial) 일관성을 유지하며 복잡한 추론을 수행하는 데 한계가 있습니다.
학습 안정성 문제: 기존 강화학습 (RL) 방법론 (예: DPO) 은 오프-폴리시 (off-policy) 특성을 가지며, 복잡한 시각 추론 작업에서 수렴 불안정성과 성능 한계를 보입니다.
2. 방법론 (Methodology)
저자들은 Insight-V를 기반으로 이를 발전시킨 **Insight-V++**를 제안합니다. 이는 이미지와 비디오 영역을 통합한 자율 진화형 (Self-Evolving) 멀티 에이전트 프레임워크입니다.
A. 확장 가능한 데이터 생성 파이프라인
점진적 추론 데이터 생성: 입력 쿼리에 대해 모델이 JSON 형식으로 구조화된 추론 과정을 생성하도록 유도합니다. 각 단계에서 '계속 (Continue)' 또는 '요약 (Summary)' 액션을 통해 추론 체인을 확장하거나 종료합니다.
다중 입자성 평가 (Multi-Granularity Assessment): 생성된 추론 경로를 1 단계 (정답 필터링) 와 2 단계 (추론 경로 점수화) 를 거쳐 자동 평가합니다. 특히 비디오 데이터의 경우, 최신 모델 (Gemini-2.5-Pro 등) 이 생성한 '골든 예시 (Golden Examples)'를 인-컨텍스트 (In-Context) 로 제공하여 평가 모델이 동적 추론의 질을 정확하게 판단하도록 합니다.
B. 멀티 에이전트 아키텍처
시스템은 두 개의 전문 에이전트로 구성됩니다:
추론 에이전트 (Reasoning Agent): 복잡한 문제를 해결하기 위한 상세한 단계별 추론 과정을 생성합니다.
요약 에이전트 (Summary Agent): 생성된 추론 과정을 비판적으로 평가하고, 핵심 정보를 추출하여 최종 답을 도출합니다. 추론 과정에 오류가 있더라도 이를 식별하고 무시하거나 수정할 수 있는 강건함을 갖춥니다.
C. 강화학습 알고리즘 (ST-GRPO 및 J-GRPO)
기존의 오프-폴리시 DPO 의 한계를 극복하기 위해 온-폴리시 (On-Policy) 강화학습 알고리즘을 도입했습니다.
ST-GRPO (Spatial-Temporal GRPO): 추론 에이전트 전용으로, 비디오 데이터의 시간적 정렬과 복잡한 시공간 논리를 학습하도록 설계되었습니다.
J-GRPO (Judgment GRPO): 요약 에이전트 전용으로, 추론 경로의 질을 판단 (Judgment) 하고 최종 답을 도출하는 능력을 강화합니다. 커리큘럼 학습 전략을 통해 초기에는 오류 탐지에 집중하다가 후기에는 정답 도출에 중점을 두는 적응형 보상 체계를 사용합니다.
D. 자율 진화 전략 (Self-Evolving Strategy)
폐쇄 루프 (Closed-Loop) 학습: 요약 에이전트로부터 피드백을 받아 추론 에이전트가 추론 경로를 수정하고, 이를 다시 학습 데이터로 활용하여 시스템을 재학습시킵니다.
지속적 개선: 인간 주석이 없는 상태에서 시스템이 스스로 고품질의 추론 데이터를 생성하고, 이를 통해 두 에이전트가 상호 협력하며 진화하는 구조를 갖춥니다.
3. 주요 기여 (Key Contributions)
확장 가능한 데이터 생성 파이프라인: 인간의 개입 없이 이미지와 비디오 영역에서 구조화된 장기 추론 데이터를 자동으로 생성하고 평가하는 시스템을 구축했습니다.
전문화된 강화학습 알고리즘: 시공간 추론 (ST-GRPO) 과 판단 강건성 (J-GRPO) 을 각각 최적화하는 두 가지 새로운 GRPO 변형 알고리즘을 제안하여 학습 안정성과 성능을 획기적으로 개선했습니다.
자율 진화형 멀티 에이전트 시스템: 추론과 요약 에이전트가 협력하며 피드백 루프를 통해 지속적으로 성능을 향상시키는 '자율 진화' 메커니즘을 도입했습니다. 이는 고정된 데이터셋에 의존하지 않고 시스템이 스스로 능력을 확장할 수 있게 합니다.
이미지 및 비디오 통합: 정적 이미지뿐만 아니라 동적 비디오 영역의 복잡한 추론 문제를 해결하는 통합 아키텍처를 제시했습니다.
4. 실험 결과 (Results)
저자들은 LLaVA-NeXT 와 Qwen2.5-VL 을 베이스 모델로 사용하여 다양한 벤치마크에서 실험을 수행했습니다.
이미지 추론: Insight-V 는 LLaVA-NeXT 기반 모델의 평균 추론 성능을 8.1% 향상시켰으며, 강력한 베이스 모델 (Qwen2.5-VL) 에 적용된 Insight-V++ 는 추가적으로 4.8% 의 향상을 보여 주었습니다. 특히 복잡한 수학적/논리적 추론 (MathVision, LogicVista 등) 에서 기존 SOTA 모델들을 크게 앞섰습니다.
비디오 추론: 6 가지 비디오 벤치마크 (VideoMME, VideoMMMU 등) 에서 Insight-V++ 는 평균 6.9% 의 성능 향상을 기록했습니다. VideoMMLU(STEM 강의 이해) 와 VideoMMMU(전문 지식) 에서 특히 두드러진 개선 (약 10% 이상) 을 보이며, GPT-4o 와 같은 상용 모델과 경쟁 가능한 수준에 도달했습니다.
지각 능력 유지: 추론 능력이 강화되면서도 기존 시각 지각 (Object Detection, OCR 등) 능력은 유지되거나 오히려 향상되었습니다.
5. 의의 및 결론 (Significance)
이 논문은 멀티모달 AI 가 단순한 지각 (Perception) 을 넘어 복잡한 장기적 추론 (Long-Chain Reasoning) 능력을 갖추기 위한 중요한 이정표를 제시합니다.
데이터 부족 해결: 고품질 시각 추론 데이터의 부족 문제를 자동 생성 및 평가 파이프라인과 자율 진화 전략을 통해 해결했습니다.
학습 패러다임 전환: 오프-폴리시 최적화에서 온-폴리시 강화학습 (GRPO) 으로 전환하고, 에이전트 간 협력을 통한 지속적 학습을 가능하게 함으로써 MLLM 의 추론 한계를 확장했습니다.
범용성: 이미지와 비디오를 아우르는 통합 아키텍처는 자율 주행, 로봇 공학, 과학적 문제 해결 등 다양한 실제 응용 분야에 적용 가능한 강력한 기반을 제공합니다.
결론적으로, **Insight-V++**는 주석 데이터에 의존하지 않고 스스로 진화하며 복잡한 시공간 추론 문제를 해결할 수 있는 차세대 범용 시각 추론 모델의 가능성을 입증했습니다.