🤖 machine learning

HyperEyes: Dual-Grained Efficiency-Aware Reinforcement Learning for Parallel Multimodal Search Agents

HyperEyes는 시각적 기반과 검색을 동시 행동으로 융합하는 이중 세분화 효율 인식 강화 학습 프레임워크를 통해 훈련된 병렬 다중 모달 검색 에이전트로, 기존 순차적 에이전트보다 뛰어난 정확도와 현저히 감소된 추론 비용을 달성합니다.

원저자: Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu

게시일 2026-05-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 장의 사진에 등장하는 여섯 명의 용의자를 수사하는 형사가 되어 상상해 보세요.

기존 방식 (직렬 검색):
전통적인 AI 에이전트는 매우 꼼꼼하지만 느린 형사처럼 작동합니다. 그들은 사진을 보고 첫 번째 사람을 선택한 뒤, 그 사람의 얼굴을 잘라내어 인터넷에서 검색하고 결과를 읽은 다음 두 번째 사람으로 이동합니다. 이 과정을 한 명씩 반복합니다.

문제점: 사진에 여섯 명이 있다면, 형사는 도서관을 여섯 번 따로 방문해야 합니다. 여섯 번째 사람에 도달할 때쯤이면 첫 다섯 번의 방문으로 노트가 너무 많은 정보로 뒤덮여 집중하기 어려워집니다. 이는 여섯 가지 코스 요리 중 한 냄비의 물을 끓이고 기다린 뒤 다음 냄비를 끓이는 방식으로 요리를 하는 것과 같습니다. 시간이 매우 오래 걸리고 에너지를 낭비합니다.

새로운 방식 (HyperEyes):
이 논문은 **"더 길게가 아니라 더 넓게 검색하라"**는 철학을 따르는 새로운 AI 에이전트인 HyperEyes를 소개합니다.
HyperEyes 는 도서관을 여섯 번 방문하는 대신, 사진 전체를 보고 여섯 명의 용의자를 한 번에 식별한 뒤 한 번의 방문으로 여섯 개의 검색 요청을 동시에 보냅니다. 이는 여섯 명의 다른 연구원을 동시에 도서관으로 보내고, 모두 병렬로 작업하게 하여 단일하고 조직화된 보고서를 가져오게 하는 것과 같습니다.

HyperEyes 의 훈련 과정 ("학교" 비유)

연구자들은 AI 에게 단순히 더 빠르게 하라고 지시한 것이 아니라, 두 가지 주요 단계로 구성된 특별한 훈련 학교를 구축했습니다.

1. "엄격한 교사" 단계 (데이터 합성):
먼저, 그들은 방대한 양의 연습 문제 도서관을 만들었습니다. 하지만 그들은 단순히 어떤 정답을 원한 것이 아니라, 가장 빠른 정답을 원했습니다.

그들은 **Progressive Rejection Sampling(점진적 기각 샘플링)**이라는 기법을 사용했습니다. 이는 교사가 학생에게 시험을 치르게 하는 상황으로 상상해 보세요. 학생이 문제를 푸는 데 10 분이 걸리면 교사는 그 시도를 폐기합니다. 2 분 만에 풀면 교사는 그것을 보관합니다. 그들은 AI 가 처음부터 날카롭게 반응하도록 가르치기 위해 가장 빠르고 효율적인 해결책들만 남겼습니다.

2. "이중 세분화된" 코칭 단계 (강화 학습):
AI 가 기초를 익힌 후, 연구자들은 두 가지 수준의 특수 코칭 시스템을 적용했습니다.

매크로 수준 (큰 그림): 그들은 TRACE라는 보상 시스템을 AI 에게 부여했습니다. 이는 "3 단계로 미스터리를 해결하면 금별을 주고, 5 단계로 풀면 패널티를 받는다"고 말하는 코치와 같습니다. 중요한 점은 코치가 시간이 지남에 따라 더 엄격해진다는 것입니다. AI 가 3 단계로 해결하는 법을 배우면, 코치는 기준을 2 단계로 높입니다. 이는 AI 가 단순히 정확할 뿐만 아니라 지속적으로 더 효율적으로 만들도록 강요합니다.
마이크로 수준 (세부 사항): 때때로 AI 는 halfway 에서 실수를 합니다. **On-Policy Distillation(OPD)**은 AI 가 실패할 때만 개입하는 "유령 작가"처럼 작동합니다. 유령 작가 (더 똑똑하고 큰 AI) 는 학생 AI 에게 올바른 다음 단어를 속삭여, 이미 올바르게 처리한 부분에 시간을 낭비하지 않고 정확히 어디에서 잘못되었는지 가르쳐 줍니다.

새로운 점수판 (IMEB)

연구자들은 기존 테스트가 AI 가 정답을 맞혔는지 여부만 중시하고, 소요 시간이나 수행한 "도서관 방문 횟수 (도구 호출)"는 무시한다는 점을 깨달았습니다.
그들은 **IMEB(Image Multi-Entity Benchmark)**라는 새로운 벤치마크를 만들었습니다.

비유: 경기를 채점하는 상황을 상상해 보세요. 기존 테스트는 누가 결승선을 먼저 통과했는지만 보았습니다. 새로운 테스트 (IMEB) 는 누가 결승선을 통과했는지 그리고 누가 가장 적은 연료를 사용했는지를 봅니다. 그들은 정확성은 보상하되 시간과 에너지 낭비는 강력하게 패널티를 부과하는 **비용 인식 점수 (Cost-Aware Score)**를 도입했습니다.

결과

HyperEyes 를 기존 최상위 AI 에이전트들과 비교 테스트했을 때:

정확도: 경쟁사보다 더 자주 정답을 맞혔습니다 (구체적으로, 최상위 오픈소스 라이벌보다 9.9% 더 높음).
효율성: 압도적으로 빨랐습니다. 동일한 문제를 해결하는 데 필요한 "도서관 방문 횟수"가 5.3 배 적었습니다.

요약

HyperEyes 는 교통 체증이 발생하는 1 차선 도로에서 다차선 고속도로로 업그레이드하는 것과 같습니다. AI 에게 모든 단서를 한 번에 보도록 가르치고 불필요한 우회로를 취하는 것을 처벌함으로써, 연구자들은 단순히 더 똑똑할 뿐만 아니라 훨씬 더 효율적인 에이전트를 만들었습니다. 이는 복잡한 시각 퍼즐을 기존 시간의 일부만으로 해결합니다.

기술 요약: HyperEyes

문제 정의

기존의 멀티모달 검색 에이전트들은 대부분 순차적 패러다임에 의존하여 대상 엔티티를 하나씩 처리합니다. 다중 홉 추론에는 효과적이지만, 이 접근 방식은 쿼리가 자연스럽게 독립적인 하위 검색으로 분해될 때 (예: 단일 이미지 내 여러 엔티티 식별) 심각한 상호작용 중복을 초래합니다. 기존 에이전트들은 초기 국소화 오류가 하류 결과를 손상시키는 "자르기 후 검색 (crop-then-search)" 파이프라인에 시달리며, 순차적 성격으로 인해 다중 엔티티 쿼리가 장황하고 중복된 상호작용 라운드로 강제됩니다. 또한, 현재 학습 패러다임은 최종 답변 정확도 위주로 최적화되어 있어, 장황한 경로보다 컴팩트한 병렬 경로를 선호하도록 하는 인센티브가 부족합니다. 결과적으로 병렬 기능은 종종 정확도 향상 없이 지연 시간과 토큰 소비를 증가시키는 무차별적 과검색으로 퇴화합니다.

방법론

저자들은 "더 길게 검색하지 말고, 더 넓게 검색하라"는 원칙을 중심으로 설계된 병렬 멀티모달 검색 에이전트 HyperEyes를 제안합니다. 이 시스템은 시각적 그라운딩과 검색을 단일 원자적 행동으로 융합하여, 단일 턴 내에서 여러 엔티티에 대한 동시 검색을 가능하게 합니다.

1. 통합 그라운딩 검색 (Unified Grounded Search, UGS)

HyperEyes 는 시각적 그라운딩을 전제 조건 단계에서 검색 행동의 매개변수로 재형상화합니다. 2 단계 프로세스 (자르기 후 검색) 대신, 에이전트는 모든 대상 엔티티에 대한 바운딩 박스를 동시에 예측하고 단일 턴 내에서 이미지 및 텍스트 병렬 검색 쿼리를 발송합니다. 이는 엔티티 식별을 하류 추론과 분리합니다.

2. 학습 파이프라인

학습 과정은 두 단계로 구성됩니다:

1 단계: 병렬 적합 데이터 합성 및 콜드스타트 감독 학습
- 데이터 합성: 저자들은 271,000 개의 도구 의존적 태스크로 구성된 데이터셋을 선별했으며, 여기에는 정밀 분류 데이터셋의 모자이크 증강을 통해 합성된 20,000 개의 시각적 다중 엔티티 쿼리와 5,000 개의 텍스트 다중 제약 쿼리가 포함됩니다.
- 점진적 거부 샘플링 (Progressive Rejection Sampling, PRS): 고품질 감독 미세 조정 (SFT) 궤적을 생성하기 위해 저자들은 PRS 를 사용합니다. 이 알고리즘은 증가하는 턴 예산을 가로질러 궤적을 샘플링하며, 각 쿼리에 대해 가장 짧은 성공 궤적만 엄격하게 유지합니다. 이는 중복된 도구 호출과 반복적 재형성을 필터링하여 30,000 개의 효율 지향적 콜드스타트 궤적을 정제합니다.
2 단계: 이중 세분화 효율 인식 강화 학습 (RL)
정확도와 효율성 모두를 최적화하기 위해 저자들은 2 단계 RL 프레임워크를 도입합니다:
- 매크로 레벨 (TRACE): **도구 사용 참조 적응 비용 효율성 (Tool-use Reference-Adaptive Cost Efficiency, TRACE)**이라고 불리는 궤적 수준 보상 메커니즘입니다. 이는 현재 에포크의 최상 수행 롤아웃에 기반하여 단조롭게 강화되는 도구 호출 라운드 참조 임계값 ( $\hat{t}_c$ ) 을 활용합니다. 이는 불필요한 도구 호출을 억제하면서도 진정한 다중 홉 검색을 과도하게 제한하지 않는 암시적 커리큘럼을 생성합니다. 보상은 참조를 초과하거나 정확도를 달성하지 못한 궤적에는 패널티를 부과하고, 효율적 범위 내에 있는 궤적에는 보상을 제공합니다.
- 마이크로 레벨 (OPD): 희소 결과 보상이 실패한 롤아웃에 대한 크레딧 할당 부족을 해결하기 위해, 저자들은 **온-폴리시 증류 (On-Policy Distillation, OPD)**를 적용합니다. 더 강력한 "교사" 모델 (HyperEyes-235B) 이 실패한 궤적에 대해 "학생" 모델 (HyperEyes-30B) 에만 밀도 있는 토큰 수준의 교정 신호를 제공합니다. 이를 통해 학생 모델은 교사의 추론 비용을 물려받지 않고 유효한 중간 추론 단계에서 학습할 수 있습니다.

3. 평가 벤치마크 (IMEB)

기존 벤치마크가 효율성을 무시한 채 정확도만 평가한다는 점을 인식하여, 저자들은 **IMEB(Image Multi-Entity Benchmark)**를 도입합니다. 이 인간이 선별한 데이터셋은 여러 엔티티에 대한 동시 국소화 및 검색이 필요한 300 개의 인스턴스로 구성됩니다. 또한 저자들은 토큰 소비와 도구 호출 라운드를 패널티로 부과하여 추론 정확도와 검색 효율성을 함께 정량화하는 비용 인식 점수 (Cost-Aware Score, CAS) 지표를 제안합니다.

주요 기여

HyperEyes 에이전트: 통합 그라운딩 검색 행동 공간에서 작동하는 병렬 멀티모달 검색 에이전트로, 여러 엔티티를 동시에 그라운딩하고 검색함으로써 높은 효율성을 달성합니다.
이중 세분화 RL 프레임워크: 매크로 레벨 적응 효율 제약 (TRACE) 과 마이크로 레벨 토큰 수준 증류 (OPD) 를 결합한 새로운 학습 접근 방식으로 검색 행동을 최적화합니다.
효율 인식 벤치마크 (IMEB): 다중 엔티티 시각 시나리오에서 답변 정확도와 검색 효율성을 함께 평가하는 최초의 벤치마크이며, CAS 지표가 함께 제공됩니다.
데이터 합성 파이프라인: 점진적 거부 샘플링을 사용하여 제로 중복 궤적을 정제하는 병렬 적합 학습 데이터 생성 방법입니다.

실험 결과

HyperEyes 는 Qwen3-VL 백본 (30B 및 235B) 을 사용하여 6 개의 멀티모달 검색 벤치마크 (MMSearch, FVQA, LiveVQA, BCVL, MMSearch+, IMEB) 에서 평가되었습니다.

정확도 및 효율성: HyperEyes-30B(RL) 는 가장 강력한 비교 규모 오픈소스 에이전트 (VDR) 보다 정확도에서 9.9% 더 높으며, 평균적으로 도구 호출 라운드가 5.3 배 적게 필요합니다.
최고 성능 (State-of-the-Art): HyperEyes-235B(RL) 는 독점적 Gemini-3.1-Pro 의 성능에 근접하며, 에이전트 워크플로우 설정에서 다른 오픈소스 및 상업적 에이전트 (예: Claude-Opus-4.6, Kimi-K2.5) 보다 우수한 성과를 냅니다.
비용 인식 점수: CAS 지표 하에서 HyperEyes-30B 는 복잡한 다중 홉 벤치마크에서 두 번째로 좋은 오픈소스 경쟁사보다 4.3 배 높은 점수를, 다중 엔티티 IMEB 벤치마크에서는 7.6 배 높은 점수를 달성합니다.
결손 연구 (Ablation Studies): 실험은 엄격한 품질 필터링 (데이터 양을 75% 감소) 이 원시 데이터 양보다 정확도를 크게 향상시킨다는 것을 확인했습니다. 또한, 적응형 TRACE 보상과 OPD 를 위한 효율성 정렬 교사가 도구 호출 중복을 줄이고 정확도를 높이는 데 결정적입니다.

중요성 및 주장

본 논문은 HyperEyes 가 오픈소스 검색 에이전트의 새로운 표준을 수립했다고 주장하며, 에이전트형 멀티모달 검색에서 정확도와 운영 효율성은 상충되는 목표가 아닌 상호 보완적임을 보여줍니다. "더 길게 검색"하는 순차적 방식에서 "더 넓게 검색"하는 병렬 방식으로 전환함으로써, 기존 자르기 후 검색 파이프라인에 내재된 중복과 노이즈 축적을 제거합니다. 저자들은 이 작업이 검증 가능하고 소스 기반 답변이 필수적인 도메인에서 특히 중요한 효율적이고 그라운딩된 멀티모달 어시스턴트 구축을 위한 재현 가능한 기반을 제공한다고 주장합니다. IMEB 와 학습 파이프라인의 공개는 효율성 인식 멀티모달 에이전트 연구의 진입 장벽을 낮추는 것을 목표로 합니다.