💻 computer science

ProAct: A Benchmark and Multimodal Framework for Structure-Aware Proactive Response

Este artigo introduz o ProAct-75, um benchmark abrangente com 75 tarefas e grafos de tarefas estruturados, juntamente com o ProAct-Helper, um framework multimodal que aproveita a busca impulsionada por entropia nesses grafos para permitir que agentes proativos superem modelos existentes em detecção de gatilhos, eficiência de etapas e execução de ações paralelas.

Autores originais: Xiaomeng Zhu, Fengming Zhu, Weijie Zhou, Ye Tian, Zhenlin Hu, Yufei Huang, Yuchun Guo, Xinyu Wu, Zhengyou Zhang, Fangzhen Lin, Xuantang Xiong

Publicado 2026-02-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Xiaomeng Zhu, Fengming Zhu, Weijie Zhou, Ye Tian, Zhenlin Hu, Yufei Huang, Yuchun Guo, Xinyu Wu, Zhengyou Zhang, Fangzhen Lin, Xuantang Xiong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está montando um quebra-cabeça com um amigo. Um robô passivo é como um robô que só se move quando você toca em seu ombro e diz: "Mova esta peça para cá". Ele espera pelo seu comando, mesmo que veja você tendo dificuldades ou que uma peça esteja prestes a cair da mesa.

Um robô proativo, que é o que este artigo apresenta, é como um colega de equipe prestativo que observa você trabalhar, entende o panorama geral e diz: "Ei, vejo que você está prestes a derrubar essa peça; vou pegar a cola enquanto você termina essa etapa". Ele não apenas espera; ele antecipa o que precisa acontecer a seguir e age por conta própria para ajudar.

Aqui está uma divisão simples das três partes principais do artigo:

1. O Problema: Robôs Precisam de um Mapa

Os autores afirmam que, embora tenhamos muitos vídeos de pessoas fazendo coisas (como cozinhar ou consertar uma bicicleta), os robôs têm dificuldade em ser proativos porque carecem de um "mapa".

A Lacuna: Os robôs existentes veem um vídeo e podem adivinhar: "A pessoa está amarrando um sapato". Mas eles não conhecem a estrutura da tarefa. Eles não sabem que, enquanto a pessoa está amarrando o sapato esquerdo, o robô pode, simultaneamente, pegar o sapato direito sem atrapalhar.
O Resultado: Sem esse mapa, os robôs frequentemente atrapalham, esperam demais ou fazem as coisas na ordem errada, tornando o trabalho do humano mais difícil em vez de mais fácil.

2. A Solução: ProAct-75 (O Novo Campo de Treinamento)

Para resolver isso, a equipe criou uma nova "academia" para robôs chamada ProAct-75.

O que é: Uma coleção massiva de 75 tarefas diferentes (como limpar uma lata de lixo, montar um sofá ou lidar com uma emergência) com mais de 91.000 pequenos passos anotados.
O Ingrediente Secreto: Diferente de outros conjuntos de dados, o ProAct-75 vem com Gráficos de Tarefa (Task Graphs). Pense neles como fluxogramas ou mapas de metrô.
- Eles mostram quais etapas devem acontecer primeiro (você não pode colocar a tampa antes de colocar o lixo dentro).
- Eles mostram quais etapas podem acontecer ao mesmo tempo (fluxos paralelos).
- Analogia: Se o humano está caminhando pela trilha esquerda de um trem, o mapa diz ao robô que ele pode caminhar com segurança pela trilha direita ao mesmo tempo, em vez de esperar o humano terminar toda a jornada.

3. O Robô: ProAct-Helper

Usando este novo campo de treinamento, eles construíram um cérebro de robô chamado ProAct-Helper.

Como ele pensa: Ele utiliza uma IA poderosa (um Modelo de Linguagem Grande Multimodal) para observar o vídeo e entender o que o humano está fazendo.
O Truque da "Entropia": Esta é a parte inteligente. O robô usa um conceito matemático chamado "entropia" (uma medida de caos ou mistura) para decidir o que fazer.
- A Metáfora: Imagine uma pista de dança. Se o humano e o robô estiverem tentando dançar no mesmo pequeno espaço, eles vão bater um no outro (alto caos). Se eles dançarem em partes diferentes da pista, o movimento é suave (baixo caos).
- O ProAct-Helper calcula constantemente: "Se eu fizer esta ação, nós estaremos batendo um no outro ou podemos trabalhar em paralelo?" Ele escolhe a ação que mantém a "pista de dança" organizada e permite que ambos avancem ao mesmo tempo.

O Que Eles Descobriram (Os Resultados)

A equipe testou seu robô contra outros modelos de IA inteligentes (incluindo alguns muito famosos e caros).

Melhor Tempo: O ProAct-Helper foi muito melhor em saber quando intervir. Ele não interrompeu quando não era necessário.
Mais Trabalho Paralelo: Como entendia o "mapa", ele realizou com sucesso tarefas que poderiam ser feitas ao mesmo tempo que o humano. Isso economizou cerca de 15% mais tempo em comparação com outros robôs que apenas esperavam sua vez.
Menos Erros: Cometeu menos erros ao adivinhar o que o humano faria a seguir, levando a um trabalho em equipe mais fluido.

Resumo

Em suma, este artigo diz: "Para tornar os robôs verdadeiramente úteis, eles precisam entender a estrutura de uma tarefa, não apenas as ações. Ao dar a eles um 'mapa' do que pode acontecer simultaneamente, podemos ensiná-los a trabalhar com humanos em paralelo, em vez de apenas esperar na fila atrás deles."

O artigo fornece o mapa (ProAct-75), o método de treinamento (ProAct-Helper) e a prova de que essa abordagem funciona melhor do que apenas adivinhar.

Resumo Técnico: ProAct: Um Benchmark e Estrutura Multimodal para Resposta Proativa Consciente de Estrutura

1. Declaração do Problema

Os agentes robóticos atuais operam predominantemente de maneira passiva, executando ações apenas após receberem instruções explícitas. Essa dependência impõe uma carga cognitiva aos usuários humanos e limita a autonomia dos sistemas robóticos. Em contraste, agentes proativos visam alinhar-se com objetivos de alto nível (ex: assistência, segurança, manutenção) monitorando continuamente o ambiente para determinar quando intervir e qual ação tomar.

No entanto, o desenvolvimento de tais agentes é dificultado por duas lacunas críticas nos recursos existentes:

Falta de Recursos Especializados: Os benchmarks de compreensão de vídeo existentes muitas vezes carecem de granularidade temporal consistente, modelagem de tarefas hierárquica unificada ou representações estruturais explícitas de dependências de tarefas.
Ausência de Fundamentação Estrutural: Sem grafos de tarefas explícitos que codifiquem precedência temporal e possibilidades de execução paralela, os agentes são forçados a tratar todas as etapas como sequenciais. Isso os impede de identificar oportunidades para executar tarefas independentes em paralelo, levando a fluxos de trabalho desnecessariamente prolongados e potenciais interrupções no fluxo (ex: um robô esperando para amarrar um saco enquanto um humano ainda está removendo o antigo, em vez de preparar um novo saco simultaneamente).

O artigo aborda o problema da resposta proativa baseada em visão, onde um agente deve observar continuamente fluxos de vídeo para detectar gatilhos, identificar estados atuais, prever ações humanas futuras e selecionar a próxima ação robótica ideal sob restrições de grafo de tarefa.

2. Metodologia

2.1. Benchmark ProAct-75

Para viabilizar a pesquisa neste domínio, os autores introduzem o ProAct-75, um benchmark que abrange três cenários: Assistência, Manutenção e Monitoramento de Segurança.

Composição de Dados: O conjunto de dados compreende 75 tarefas com 5.383 vídeos e 91.581 anotações ao nível de etapa. Os dados são agregados de fontes públicas (COIN, Ego-Exo4D, UCF-Crime) e suplementados com 495 clipes coletados pelos próprios autores para cobrir tarefas sub-representadas.
Protocolo de Anotação: Os vídeos são re-anotados com granularidade consistente de nível de ação atômica. Crucialmente, cada tarefa é equipada com um Grafo de Tarefa explícito (um Grafo Acíclico Dirigido com dependências AND/OR). Estes grafos codificam:
- Restrições de Precedência: Etapas que devem preceder outras.
- Threads Paralelas: Ramos independentes que podem ser executados concorrentemente.
- Abstrações de Médio Nível: Agrupamento hierárquico de etapas atômicas.
Tarefas de Avaliação: O benchmark avalia cinco capacidades específicas:
1. Detecção de Gatilho: Decidir se a intervenção é necessária.
2. Detecção de Etapa: Localizar a etapa atual no fluxo de trabalho.
3. Detecção de Tarefa: Identificar a tarefa de alto nível.
4. Predição de Ação Futura: Prever as próximas $n$ ações humanas.
5. Seleção de Ação Proativa: Escolher a próxima ação robótica que seja viável sob o grafo de tarefa.

2.2. Estrutura ProAct-Helper

Os autores propõem o ProAct-Helper, uma linha de base de referência construída sobre um Modelo de Linguagem Grande Multimodal (MLLM) que integra percepção com planejamento restrito por grafos.

Módulo de Vinculação Hierárquica (HBM): Para lidar com a distribuição de cauda longa de tarefas e etapas, o ProAct-Helper utiliza o HBM. Este módulo impõe consistência semântica entre níveis, maximizando o acordo entre as representações de nível pai (gatilho/tarefa) e filho (etapa) usando perdas contrastivas. Isso melhora a capacidade do modelo de reconhecer classes raras e manter a coerência através da hierarquia de predição.
Busca Heurística Baseada em Entropia: Para a seleção de ações, a estrutura não simplesmente imita a próxima etapa do humano. Em vez disso, ela utiliza o grafo de tarefa para identificar ações legais ( $A_{legal}$ $A_{l e g a l}$ ) que satisfaçam as restrições AND/OR.
- O sistema modela ações humanas e robóticas como distribuições sobre threads paralelas.
- Ele calcula a entropia de mistura de threads ( $H_{mix}$ ), que penaliza a troca frequente entre threads (alta carga cognitiva) e a execução mista onde ambos os agentes trabalham na mesma thread simultaneamente.
- O agente seleciona a ação que minimiza $H_{mix}$ , priorizando efetivamente ações em threads paralelas diferentes da thread atual do humano, desde que não violem as restrições de precedência.

3. Principais Contribuições

Benchmark ProAct-75: Um conjunto de dados abrangente para resposta proativa baseada em visão, apresentando grafos de tarefas explícitos e anotações conscientes de estrutura em cenários de assistência, manutenção e segurança.
Estrutura ProAct-Helper: Uma linha de base multimodal que combina um MLLM com um Módulo de Vinculação Hierárquica para percepção de estado robusta e uma busca heurística baseada em entropia para seleção de ação consciente de estrutura.
Validação Empírica: Experimentos extensos demonstrando que o ProAct-Helper supera fortes MLLMs de código aberto e fechados tanto em reconhecimento de estado quanto em eficiência colaborativa.

4. Resultados Experimentais

Experimentos foram conduzidos no ProAct-75, comparando o ProAct-Helper (baseado em Qwen2.5-VL-7B) contra várias linhas de base, incluindo GPT-4o, Gemini-2.5-Pro e outras variantes do Qwen.

Percepção de Estado: O ProAct-Helper supera significativamente as linhas de base em detecção de gatilho, tarefa e etapa. Especificamente, ele melhorou o F1 de Tarefa em 17,09% e o F1 de Etapa em 11,72% em relação à melhor linha de base de código fechado (Gemini-2.5-Pro). O módulo HBM contribuiu com um aumento adicional de 2,71% no mF1 de Tarefa e 1,63% no mF1 de Etapa, destacando sua eficularidade em lidar com categorias de cauda longa.
Seleção de Ação Proativa:
- Etapas Salvas (SS): O ProAct-Helper salvou 0,361 etapas a mais por interação em comparação com a melhor linha de base, indicando uma colaboração mais eficiente.
- Ações Paralelas (PA): A estrutura aumentou a taxa de ações paralelas em 15,58% sobre as linhas de base, demonstrando sua capacidade de executar threads independentes concorrentemente em vez de esperar por etapas humanas sequenciais.
- Redução de Entropia: O método alcançou uma menor entropia de mistura de threads, indicando uma coordenação mais suave com menos trocas frequentes entre as threads humana e robótica.
Robustez: Em avaliações de Fora de Distribuição (OOD) envolvendo diferentes pontos de vista de câmera, o ProAct-Helper manteve um desempenho significativamente superior (retendo ~73% do desempenho da Melhor Visualização) em comparação com linhas de base como Ego-Exo4D (que reteve ~15%).

5. Significância e Alegações

O artigo afirma que o ProAct-75 fornece a fundamentação estrutural necessária para ir além de agentes passivos de seguimento de instruções em direção a sistemas verdadeiramente proativos. Os autores enfatizam que os MLLMs existentes têm dificuldade em aproveitar as estruturas de grafos de tarefas mesmo quando fornecidas como entrada, frequentemente recorrendo à execução sequencial ou falhando em identificar oportunidades paralelas.

O ProAct-Helper demonstra que, ao integrar grafos de tarefas explícitos com busca baseada em entropia, os agentes podem:

Reduzir interrupções no fluxo de trabalho executando threads paralelas.
Melhorar a eficiência da colaboração economizando etapas humanas.
Manter a robustez através de diversos pontos de vista e distribuições de tarefas de cauda longa.

Os autores posicionam este trabalho como um passo fundamental para a resposta proativa consciente de estrutura, sugerindo que direções futuras devem focar em decodificação viável por grafos e no uso das descrições de gatilho do benchmark para pós-treinamento, a fim de refinar ainda mais comportamentos proativos razoáveis. O artigo conclui que, embora o planejador seja uma heurística leve, seu sucesso valida a necessidade de restrições estruturais no design de agentes proativos.