🤖 AI

Visual Para-Thinker: Divide-and-Conquer Reasoning for Visual Comprehension

본 논문은 시각 분할, Pa-Attention, LPRoPE를 활용하여 전통적인 수직 확장 방식의 탐색 한계를 극복하고 다양하고 효율적인 시각 이해를 달성하는 멀티모달 대규모 언어 모델을 위한 최초의 병렬 추론 프레임워크인 Visual Para-Thinker를 소개합니다.

원저자: Haoran Xu, Hongyu Wang, Jiaze Li, Shunpeng Chen, Zizhao Tong, Jianzhong Ju, Zhenbo Luo, Jian Luan

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoran Xu, Hongyu Wang, Jiaze Li, Shunpeng Chen, Zizhao Tong, Jianzhong Ju, Zhenbo Luo, Jian Luan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Visual Para-Thinker" 논문을 쉬운 언어와 창의적인 비유로 설명합니다.

핵심 아이디어: 혼자 일하는 형사에서 탐험가 팀으로

복잡한 퍼즐을 푸는 상황을 상상해 보세요. 예를 들어, 붐비는 사진 속에서 특정 물체를 찾거나, 분주한 거리 장면에서 몇 명의 사람이 있는지 세는 일입니다.

기존 방식 (순차적 추론):
현재 대부분의 AI 모델은 혼자 일하는 단일 형사처럼 행동합니다. 그들은 전체 이미지를 보고 단계별로 생각하며 자신의 생각을 긴 줄로 적어냅니다. "먼저 개를 보고, 그다음 고양이를 보고, 그다음 나무를 보고..." 만약 이 형사가 이미지의 한 부분에 막히거나 초기에 실수를 저지르면, 혼란을 겪으며 잘못된 길로 계속 나아갈 수 있습니다. 그들은 "깊게 생각"하지만, 단일 차선에만 갇혀 있는 것입니다.

새로운 방식 (Visual Para-Thinker):
이 논문은 Visual Para-Thinker라는 새로운 프레임워크를 소개합니다. 한 명의 형사 대신, 같은 숲 (이미지) 에 동시에 투입된 네 명의 탐험가 팀을 상상해 보세요.

탐험가 1은 오직 왼쪽 위 구석만 봅니다.
탐험가 2는 오른쪽 위를 봅니다.
탐험가 3은 왼쪽에서 오른쪽으로 스캔합니다.
탐험가 4는 아래에서 위로 스캔합니다.

그들은 모두 병렬로 (동시에) 일합니다. 작업이 끝나면 중앙에서 만나 메모를 공유하고 발견한 내용을 종합하여 최종 답변을 제시합니다. 이는 단순히 "깊게 생각"하는 것이 아니라 "넓게 생각"하는 것입니다.

두 가지 전략: 팀을 어떻게 나누는가

논문에 따르면 이미지를 무작위로 나누어서는 안 되며, 작업을 나눌 지적인 방법이 필요합니다. 그들은 두 가지 주요 전략을 테스트했습니다.

블록 기반 분할 (사분면 전략):
이미지를 네 개의 뚜렷한 정사각형 (틱택토 보드처럼) 으로 자른다고 상상해 보세요. 각 탐험가에게 하나의 정사각형이 할당됩니다.
- 가장 적합한 경우: 서로 다른 영역의 세부 사항을 자세히 살펴봐야 하는 작업, 예를 들어 작은 텍스트 레이블을 찾거나 구석에 있는 특정 물체를 식별하는 경우입니다.
- 비유: 한 사람은 천장을 페인트하고, 한 사람은 바닥을 하고, 한 사람은 벽을 처리하는 건설 팀과 같습니다.
스캔 순서 분할 (경로 전략):
모든 탐험가가 전체 이미지를 보지만, 서로 다른 방향으로 이동한다고 상상해 보세요.
- 탐험가 1 은 왼쪽에서 오른쪽으로 이동합니다.
- 탐험가 2 는 위에서 아래로 이동합니다.
- 탐험가 3 은 오른쪽에서 왼쪽으로 이동합니다.
- 가장 적합한 경우: 물체를 세는 작업과 같습니다. 군중을 왼쪽에서 오른쪽으로 스캔하면 뒤쪽에 있는 사람을 놓칠 수 있지만, 위에서 아래로 스캔하면 그 사람을 포착할 수 있습니다.
- 비유: 책을 읽는 것과 같습니다. 한 사람은 첫 페이지를 읽고 그다음 두 번째 페이지를 읽습니다. 다른 사람은 첫 번째 열을 읽고 그다음 두 번째 열을 읽습니다. 그들은 같은 이야기를 읽지만 순서가 다릅니다.

논문의 비밀 소스: 최고의 결과를 얻기 위해서는 두 가지 전략을 모두 혼합하여 사용해야 한다는 것을 발견했습니다. 때로는 특정 블록을 살펴봐야 하고, 다른 때는 전체 이미지를 서로 다른 순서로 스캔해야 합니다.

기술적 마법: 팀을 조직화하는 방법

네 사람이 동시에 이야기하면 혼란스러울 수 있습니다. 논문은 팀을 조직화하기 위한 두 가지 특수 도구를 소개합니다.

Pa-Attention (음소거 버튼):
사고 단계 동안 탐험가 1 은 탐험가 2 의 말을 듣지 않아야 합니다. 탐험가 1 이 빨간 차에 대해 생각 중이라면, 파란 새에 대해 이야기하는 탐험가 2 에게 주의가 산만해져서는 안 됩니다.
- 작동 원리: 시스템은 탐험가들 사이에 "벽" (어텐션 마스크) 을 설치합니다. 그들은 자신의 이미지 부분과 공유된 지시사항만 볼 수 있지만, 마지막 순간까지 서로의 생각을 엿볼 수 없습니다. 이를 통해 모두가 고유하고 독립적인 아이디어를 도출하도록 보장합니다.
LPRoPE (이름표):
팀이 발견 사항을 요약하기 위해 모일 때, AI 는 누가 무엇을 말했는지 알아야 합니다. 탐험가 1 과 탐험가 2 가 모두 "개를 봅니다"라고 말하면, AI 는 이것이 같은 개에 대한 두 가지 다른 관점이지, 혼란스러운 중복이 아님을 알아야 합니다.
- 작동 원리: 시스템은 모든 탐험가의 생각에 고유하고 보이지 않는 "이름표" (학습 가능한 임베딩) 를 부착합니다. 그들이 이미지의 같은 곳을 보고 있더라도, AI 는 "아, 이 생각은 왼쪽에서 오른쪽으로 스캔하는 탐험가에서 온 것이지, 왼쪽 위 블록 스캐너에서 온 것이 아니다"라고 인식합니다. 이는 AI 가 어떤 경로가 어떤 결론으로 이어졌는지 혼동하는 것을 방지합니다.

결과: 왜 중요한가

연구진은 이 새로운 "탐험가 팀" 접근 방식을 여러 어려운 작업에서 테스트했습니다.

세기: 다양한 방향으로 스캔함으로써 사람을 놓치거나 같은 사람을 두 번 세는 것을 방지했기 때문에, 물체 (예: "이 사진에 몇 명의 사람이 있나요?") 를 세는 능력이 크게 향상되었습니다.
물체 찾기: "시각적 그라운딩" (이미지에서 물체가 정확히 어디에 있는지 가리키는 것) 능력이 향상되었습니다.
환각 방지: AI 는 종종 "환각" (사실을 만들어냄) 을 경험합니다. 네 개의 독립적인 경로가 사실을 확인함으로써, 팀이 가짜 물체를 만들어낼 가능성이 줄어듭니다. 세 명의 탐험가가 "여기에 개가 없다"고 하고 한 명이 "아마도"라고 말하면, 팀은 개가 없다고 합의합니다.

효율성:
일반적으로 네 가지 다른 사고를 실행하는 데는 네 배의 시간이 걸립니다. 그러나 저자들은 팀이 "메모리" (이미지를 처음 보는 것) 를 공유하여 이미지를 네 번 다시 읽지 않도록 하는 특수 엔진 (vLLM) 을 사용하여 이 시스템을 구축했습니다. 이로 인해 프로세스는 놀랍도록 빨라져 거의 기존 단일 형사 방식과 같은 속도를 냅니다.

요약

Visual Para-Thinker는 AI 가 이미지를 보는 새로운 방식입니다. 이미지를 응시하며 긴 단일 줄로 생각하는 대신, 이미지를 분할하여 여러 개의 "미니 뇌"를 동시에 다양한 각도와 순서로 보내 이미지를 살펴보게 합니다. 그들은 혼란을 피하기 위해 독립적으로 일한 다음, 고유한 관점을 결합하여 더 정확하고 덜 혼란스러운 답변을 제시합니다.

기술 요약: Visual Para-Thinker

문제 제기

기존의 대규모 언어 모델 (LLM) 은 추론 길이를 확장하는 것 (수직 확장) 이 자기 반성적 행동을 유발하고 성능을 향상시킬 수 있음을 입증해 왔습니다. 그러나 이 접근법은 모델이 특정 단일 사고 패턴에 갇히면서 탐색 공간이 축소되는 한계로 인해 종종 체감 수익을 초래합니다. 최근 연구는 텍스트 중심 작업 (예: 수학 및 코딩) 에 병렬 사고 (parallel thinking) 프레임워크를 성공적으로 적용하여 "너비" 차원을 따라 검색 공간을 확장했으나, 이러한 패러다임을 시각 영역으로 확장하는 것은 여전히 열린 과제로 남아 있습니다. 시각 데이터의 고유한 구조적 복잡성, 특히 추론 경로 전반에 걸쳐 다양한 주의 할당 패턴이 필요하다는 점은 멀티모달 대규모 언어 모델 (MLLM) 을 위한 효과적인 병렬 추론 개발을 방해해 왔습니다.

방법론

본 논문은 MLM 을 위해 설계된 최초의 병렬 추론 프레임워크인 Visual Para-Thinker를 제안합니다. 이 프레임워크는 병렬 추론과 요약이라는 두 가지 명확한 단계로 작동합니다.

1. 시각 분할 전략

시각 정보를 중심으로 한 추론 경로의 다양성을 보장하기 위해, 저자들은 두 가지 다른 시각 분할 전략을 조사하고 구현합니다:

블록 기반 분할 (Block-based Partitioning): 이미지를 특정 지역 서브그래프 (예: 좌상단, 우하단 사분면) 로 나눕니다. 각 추론 경로는 지정된 서브 영역에 집중하여 고유한 시각적 주의 분포를 생성합니다.
스캔 순서 분할 (Scan-order Partitioning): 다양한 시각 스캔 궤적 (예: 좌에서 우, 위에서 아래, 우에서 좌, 아래에서 위) 을 채택하여 경로를 구분합니다. 이는 시각적 입력의 순서를 재배열함으로써 주의 할당을 조절합니다.
이 프레임워크는 상호 보완적인 강점을 활용하기 위해 두 전략을 통합한 하이브리드 학습 방식을 사용합니다.

2. 핵심 아키텍처 구성 요소

경로 독립성, 편향 없음, 그리고 구별 가능성을 유지하기 위해 프레임워크는 두 가지 주요 메커니즘을 도입합니다:

Pa-Attention (경로 인지 주의): 추론 경로 격리를 강제하도록 설계되었습니다. 병렬 추론 단계에서 Pa-Attention 은 각 경로를 창으로 간주하여 <think i> 블록 내의 토큰이 동일한 경로의 토큰과 공유된 컨텍스트에만 주의를 기울이도록 제한합니다. 이는 병렬 궤적 간의 정보 유출을 방지합니다.
LPRoPE (학습 가능한 병렬 회전 위치 임베딩): 요약 단계에서 여러 경로를 병합할 때 발생하는 과제를 해결합니다.
- 편향 없음: 불연속적인 위치 인덱스를 할당하는 방법 (시퀀스 편향을 유발할 수 있음) 과 달리, LPRoPE 는 서로 다른 경로에서 동일한 상대적 깊이에 있는 토큰이 동일한 위치 인덱스를 공유하도록 보장합니다.
- 구별 가능성: 모델이 동일한 위치 인덱스를 가진 경로를 혼동하지 않도록, LPRoPE 는 회전 위치 임베딩 (RoPE) 회전이 적용되기 전에 키 (key) 와 값 (value) 벡터에 학습 가능한 경로별 임베딩( $e_i$ ) 을 주입합니다. 이를 통해 모델은 균일한 사전 확률을 유지하면서도 경로를 구별할 수 있습니다.

3. 구현 및 효율성

이 프레임워크는 특정 엔지니어링 개선 사항이 적용된 vLLM 엔진을 사용하여 구현되었습니다:

병렬 디코딩: 공유 컨텍스트에서 여러 추론 경로를 동시에 디코딩하기 위해 "포크 (fork)" 시퀀스 연산을 활용합니다.
KV 캐시 관리: 공통 KV 캐시를 생성하기 위한 공유 프리필 (prefill) 단계를 구현한 후 경로별 캐시를 생성합니다. 요약 단계에서는 이러한 캐시들을 병합하여 프리필 오버헤드를 줄이기 위해 페이지 어텐션을 활용합니다.
제어 가능성: 특수 토큰 (<think i>) 이 추론 시 특정 경로를 트리거하도록 프레임워크를 안내하지만, 실제 경로 구별은 LPRoPE 에 의존합니다.

주요 기여

시각 분할 조사: 저자들은 병렬화된 추론에서 시각 분할의 역할을 조사하여 블록 기반 및 스캔 순서 전략을 도입하고 검증했습니다.
Visual Para-Thinker 프레임워크: MLLM 을 위한 최초의 병렬 사고 프레임워크를 제안하여 여러 동시 추론 경로를 생성하고 통합할 수 있게 했습니다.
새로운 메커니즘: 경로 격리를 위한 Pa-Attention과 다중 경로 시나리오에서 경로 편향 없음 및 구별 가능성을 보장하기 위한 LPRoPE의 통합.
효율적인 구현: 고효율 병렬 처리 및 KV 캐시 재사용을 용이하게 하기 위해 vLLM 을 활용한 네이티브 멀티모달 구현.

실험 결과

저자들은 CountBench, Pixmo, V*, RefCOCO, MMVP, HallusionBench를 포함한 벤치마크 데이터셋에서 Visual Para-Thinker 를 평가했습니다.

성능 향상:
- 3B 모델에서 이 방법은 계수 작업에서 평균 **3.7%**의 개선을 달성했으며, 환각 감소에서도 상당한 향상을 보였습니다 (예: MMVP 에서 +12.6%).
- 7B 모델에서는 계수 작업에서 평균 **2.7%**의 개선과 환각 작업에서 거의 **4%**의 개선을 보였습니다.
- **시각 그라운딩 (RefCOCO 시리즈)**에서 Visual Para-Thinker-3B 는 평균 Acc@0.5 가 **88.5%**로, 베이스라인 Qwen2.5-VL-3B 와 순차적 추론 접근법보다 4% 더 높은 성능을 기록했습니다.
- 7B 변형은 크기 차이에도 불구하고 특정 시각 검색 및 환각 벤치마크에서 GPT-4o, Gemini 2.5-Pro 와 같은 최첨단 모델을 능가했습니다.
효율성:
- 순차적 추론 및 다수 투표 (4 개 경로를 순차적으로 생성) 와 비교하여 Visual Para-Thinker 는 총 추론 시간을 크게 단축했습니다. V* 벤치마크에서 KV 캐시 재사용을 통해 베이스라인 대비 총 시간을 15% 단축했습니다.
- KV 캐시 재사용을 활용할 때 표준 순차 디코딩 대비 처리량이 2.5 배 증가했습니다.
애블레이션 연구:
- Pa-Attention을 제거하면 경로 간섭으로 인해 모든 작업에서 하위 최적 성능이 나타났습니다.
- LPRoPE를 제거하면 모델의 경로 구별 능력이 저하되어 특히 계수 작업에 영향을 미쳤습니다 (Pixmo 벤치마크 성능이 거의 4% 하락).
- 추론 경로의 수를 1 에서 4 로 늘리면 일관된 성능 향상이 나타나 확장 효과가 입증되었습니다.

중요성 및 주장

본 논문은 Visual Para-Thinker가 병렬 추론의 이점을 시각 영역으로 성공적으로 확장하여, 종종 경직된 단일 추론 궤적으로 이어지는 수직 확장 전략의 한계를 해결했다고 주장합니다. 깊이를 병렬화로 전환함으로써 이 프레임워크는 탐색의 축소를 완화하고 MLLM 의 환각을 효과적으로 감소시킵니다.

저자들은 이 작업을 보다 견고하고 효율적인 멀티모달 AI 를 향한 중요한 단계로 위치시키며, 병렬 추론과 강화 학습 (RL) 확장을 결합한 연구 잠재력을 열어두고 있습니다. 그들은 이 패러다임이 체화된 지능 (embodied intelligence) 과 통합된 Diffusion-LLM 시스템과 같은 다운스트림 응용 분야에서 등장하는 능력을 이끌 수 있다고 제안하면서, 개인정보 및 윤리적 문제와 관련된 책임 있는 배포의 필요성을 강조합니다.