🤖 machine learning

HyperEyes: Dual-Grained Efficiency-Aware Reinforcement Learning for Parallel Multimodal Search Agents

HyperEyes é um agente de busca multimodal paralelo treinado por meio de um framework de aprendizado por reforço com eficiência de dupla granularidade que funde ancoragem visual e recuperação em ações concorrentes, alcançando precisão superior e custos de inferência significativamente reduzidos em comparação com agentes sequenciais existentes.

Autores originais: Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu

Publicado 2026-05-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Guankai Li, Jiabin Chen, Yi Xu, Xichen Zhang, Yuan Lu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério envolvendo seis suspeitos diferentes em uma única foto.

O Jeito Antigo (Busca Serial):
Agentes de IA tradicionais funcionam como um detetive muito minucioso, mas lento. Eles olham para a foto, selecionam a primeira pessoa, recortam o rosto dela, pesquisam na internet por essa pessoa, leem os resultados e, em seguida, passam para a segunda pessoa. Eles repetem esse processo um por um.

O Problema: Se a foto tiver seis pessoas, o detetive faz seis viagens separadas até a biblioteca. Até chegar à sexta pessoa, as cinco primeiras viagens já encheram seu caderno de anotações com excesso de informações, dificultando o foco. É como tentar cozinhar um jantar de seis pratos fervendo uma panela de água de cada vez, esperando que termine, e só então fervendo a próxima panela. Leva uma eternidade e desperdiça energia.

O Jeito Novo (HyperEyes):
O artigo apresenta o HyperEyes, um novo agente de IA que segue a filosofia: "Procurar mais amplo, não mais longo."
Em vez de visitar a biblioteca seis vezes, o HyperEyes observa a foto inteira, identifica todos os seis suspeitos de uma só vez e envia seis solicitações de pesquisa simultaneamente em uma única viagem. É como enviar seis pesquisadores diferentes para a biblioteca ao mesmo tempo, todos trabalhando em paralelo, e trazer de volta um único relatório organizado.

Como o HyperEyes Foi Treinado (A Analogia da "Escola")

Os pesquisadores não apenas disseram à IA para ser mais rápida; eles construíram uma escola de treinamento especial para ela com duas fases principais:

1. A Fase do "Professor Rigoroso" (Síntese de Dados):
Primeiro, eles criaram uma biblioteca massiva de problemas de prática. Mas não queriam apenas qualquer resposta correta; queriam a resposta correta mais rápida.

Eles usaram uma técnica chamada Amostragem de Rejeição Progressiva. Imagine um professor dando uma prova a um aluno. Se o aluno leva 10 minutos para resolver um problema, o professor descarta essa tentativa. Se o aluno o resolve em 2 minutos, o professor a mantém. Eles guardaram apenas as soluções mais rápidas e eficientes para ensinar à IA a ser ágil desde o primeiro dia.

2. A Fase de Orientação "Duplamente Granulada" (Aprendizado por Reforço):
Uma vez que a IA conhecia o básico, eles aplicaram um sistema especial de orientação com dois níveis:

Nível Macro (A Visão Geral): Eles deram à IA um sistema de recompensas chamado TRACE. Pense nisso como um treinador que diz: "Se você resolver o mistério em 3 passos, ganha uma estrela de ouro. Se levar 5 passos, recebe uma penalidade". Crucialmente, o treinador fica mais rigoroso com o tempo. Se a IA aprende a resolver em 3 passos, o treinador eleva a barra para 2 passos. Isso força a IA a se tornar constantemente mais eficiente, não apenas precisa.
Nível Micro (Os Detalhes Finos): Às vezes, a IA comete um erro no meio do caminho. A Destilação On-Policy (OPD) atua como um "ghostwriter" que intervém apenas quando a IA falha. O ghostwriter (uma IA mais inteligente e maior) sussurra a próxima palavra correta para a IA-aluno, ensinando-lhe exatamente onde errou, sem desperdiçar tempo nas partes que já acertou.

O Novo Placar (IMEB)

Os pesquisadores perceberam que os testes antigos só se importavam se a IA acertasse a resposta, ignorando quanto tempo levou ou quantas "viagens à biblioteca" (chamadas de ferramentas) ela fez.
Eles criaram um novo benchmark chamado IMEB (Image Multi-Entity Benchmark).

A Analogia: Imagine avaliar uma corrida. Os testes antigos olhavam apenas para quem cruzou a linha de chegada primeiro. O novo teste (IMEB) olha para quem cruzou a linha de chegada e quem usou a menor quantidade de combustível. Eles introduziram uma Pontuação Consciente de Custo que recompensa a precisão, mas penaliza severamente o desperdício de tempo e energia.

Os Resultados

Quando colocaram o HyperEyes à prova contra os melhores agentes de IA existentes:

Precisão: Ele acertou a resposta correta com mais frequência do que seus concorrentes (especificamente, 9,9% melhor que o melhor rival de código aberto).
Eficiência: Foi dramaticamente mais rápido. Ele precisou de 5,3 vezes menos "viagens à biblioteca" para resolver os mesmos problemas.

Resumo

O HyperEyes é como a atualização de uma estrada de pista única com engarrafamentos para uma rodovia de múltiplas pistas. Ao ensinar a IA a observar todas as pistas de uma só vez e puni-la por fazer desvios desnecessários, os pesquisadores criaram um agente que não é apenas mais inteligente, mas também significativamente mais eficiente, resolvendo quebra-cabeças visuais complexos em uma fração do tempo.

Resumo Técnico: HyperEyes

Declaração do Problema

Agentes de busca multimodal existentes dependem predominantemente de um paradigma sequencial, processando entidades-alvo uma por uma. Embora eficaz para raciocínio multi-hop, essa abordagem incorre em redundância severa de interação quando as consultas se decompõem naturalmente em sub-recuperações independentes (por exemplo, identificar múltiplas entidades em uma única imagem). Agentes convencionais sofrem com pipelines do tipo "recortar e depois buscar", onde erros de localização iniciais corrompem resultados a jusante, e a natureza sequencial força consultas multi-entidade em rodadas de interação verbosas e redundantes. Além disso, os paradigmas de treinamento atuais otimizam principalmente a precisão da resposta final, carecendo de incentivos para preferir trajetórias paralelas compactas em vez de verbosas. Consequentemente, capacidades paralelas frequentemente degradam-se para buscas excessivas por força bruta, inflando latência e consumo de tokens sem melhorar a precisão.

Metodologia

Os autores propõem o HyperEyes, um agente de busca multimodal paralelo projetado em torno do princípio de "buscar mais amplo, não mais longo". O sistema funde ancoragem visual e recuperação em uma única ação atômica, permitindo busca concorrente em múltiplas entidades dentro de uma única rodada.

1. Busca Ancorada Unificada (UGS)

O HyperEyes reformula a ancoragem visual de uma etapa pré-requisito para um parâmetro da ação de recuperação. Em vez de um processo de duas etapas (recortar e depois buscar), o agente prevê simultaneamente caixas delimitadoras para todas as entidades-alvo e despacha consultas de busca paralelas (tanto de imagem quanto de texto) dentro de uma única rodada. Isso desacopla a identificação de entidades do raciocínio a jusante.

2. Pipeline de Treinamento

O processo de treinamento consiste em duas etapas:

Etapa 1: Síntese de Dados Adaptáveis a Paralelismo e Supervisão de Início Frio
- Síntese de Dados: Os autores curam um conjunto de dados de 271.000 tarefas dependentes de ferramentas, incluindo 20.000 consultas visuais multi-entidade (sintetizadas via aumento de mosaico de conjuntos de dados de classificação de granularidade fina) e 5.000 consultas textuais multi-restrição.
- Amostragem de Rejeição Progressiva (PRS): Para gerar trajetórias de Ajuste Fino Supervisionado (SFT) de alta qualidade, os autores empregam PRS. Este algoritmo amostra trajetórias através de orçamentos de rodadas ascendentes, retendo estritamente apenas a trajetória bem-sucedida mais curta para cada consulta. Isso filtra chamadas de ferramentas redundantes e reformulações iterativas, destilando 30.000 trajetórias de início frio orientadas à eficiência.
Etapa 2: Aprendizado por Reforço (RL) de Dupla Granularidade Consciente de Eficiência
Para otimizar tanto a precisão quanto a eficiência, os autores introduzem um framework de RL de dois níveis:
- Nível Macro (TRACE): Um mecanismo de recompensa em nível de trajetória chamado Eficiência de Custo Adaptativa de Referência de Uso de Ferramentas (TRACE). Ele utiliza um limiar de referência para rodadas de chamadas de ferramentas ( $\hat{t}_c$ ) que se torna monotonicamente mais rigoroso durante o treinamento com base nos melhores desempenhos de rolagens da época atual. Isso cria um currículo implícito que suprime chamadas de ferramentas supérfluas sem restringir excessivamente buscas multi-hop genuínas. A recompensa penaliza trajetórias que excedem a referência ou falham em atender à precisão, enquanto recompensa aquelas dentro dos limites eficientes.
- Nível Micro (OPD): Para abordar a deficiência de atribuição de crédito de recompensas de resultado esparsas em rolagens falhas, os autores adaptam a Distilação em Política (OPD). Um modelo "professor" mais forte (HyperEyes-235B) fornece sinais corretivos densos em nível de token exclusivamente ao modelo "aluno" (HyperEyes-30B) em trajetórias falhas. Isso permite que o aluno aprenda com etapas de raciocínio intermediárias válidas sem herdar o custo de inferência do professor.

3. Benchmark de Avaliação (IMEB)

Reconhecendo que benchmarks existentes avaliam a precisão ignorando a eficiência, os autores introduzem o IMEB (Benchmark de Múltiplas Entidades em Imagem). Este conjunto de dados curado por humanos compreende 300 instâncias que exigem localização e recuperação concorrentes em múltiplas entidades. Eles também propõem a Pontuação Consciente de Custo (CAS), uma métrica que quantifica conjuntamente a correção do raciocínio e a eficiência da busca, penalizando o consumo de tokens e as rodadas de chamadas de ferramentas.

Contribuições Principais

Agente HyperEyes: Um agente de busca multimodal paralelo operando em um espaço de ação de Busca Ancorada Unificada, alcançando alta eficiência ao ancorar e buscar múltiplas entidades concorrentemente.
Framework de RL de Dupla Granularidade: Uma abordagem de treinamento inovadora que combina restrições de eficiência adaptativas em nível macro (TRACE) com distilação em nível de token em nível micro (OPD) para otimizar o comportamento de busca.
Benchmark Consciente de Eficiência (IMEB): O primeiro benchmark a avaliar conjuntamente a precisão da resposta e a eficiência da busca em cenários visuais multi-entidade, acompanhado pela métrica CAS.
Pipeline de Síntese de Dados: Um método para gerar dados de treinamento adaptáveis a paralelismo usando Amostragem de Rejeição Progressiva para destilar trajetórias sem redundância.

Resultados Experimentais

O HyperEyes foi avaliado em seis benchmarks de busca multimodal (MMSearch, FVQA, LiveVQA, BCVL, MMSearch+ e IMEB) usando backbones Qwen3-VL (30B e 235B).

Precisão e Eficiência: O HyperEyes-30B (RL) supera o agente de código aberto mais forte de escala comparável (VDR) em 9,9% de precisão, enquanto requer 5,3× menos rodadas de chamadas de ferramentas em média.
Desempenho de Estado da Arte: O HyperEyes-235B (RL) aproxima-se do desempenho do proprietário Gemini-3.1-Pro, superando outros agentes de código aberto e comerciais (por exemplo, Claude-Opus-4.6, Kimi-K2.5) no cenário de fluxo de trabalho de agente.
Pontuação Consciente de Custo: Sob a métrica CAS, o HyperEyes-30B alcança uma pontuação 4,3× maior que o segundo melhor concorrente de código aberto em benchmarks multi-hop complexos e 7,6× maior no benchmark multi-entidade IMEB.
Estudos de Ablação: Experimentos confirmam que a filtragem rigorosa de qualidade (reduzindo o volume de dados em 75%) melhora significativamente a precisão em relação ao volume bruto de dados. Além disso, a recompensa adaptativa TRACE e o professor alinhado à eficiência para OPD são críticos para reduzir a redundância de chamadas de ferramentas e aumentar a precisão.

Significado e Alegações

O artigo alega que o HyperEyes estabelece um novo padrão para agentes de busca de código aberto, demonstrando que precisão e eficiência operacional são objetivos complementares e não conflitantes na busca multimodal de agentes. Ao mudar de "buscar mais longo" sequencial para "buscar mais amplo" paralelo, o framework elimina a redundância e o acúmulo de ruído inerentes aos pipelines convencionais de "recortar e depois buscar". Os autores afirmam que seu trabalho fornece uma base reprodutível para construir assistentes multimodais ancorados e eficientes, particularmente em domínios onde respostas verificáveis e ancoradas em fontes são essenciais. O lançamento do IMEB e do pipeline de treinamento visa reduzir a barreira de entrada para pesquisa em agentes multimodais conscientes de eficiência.