Resumo Técnico: ProcAgent

Definição do Problema

Tarefas procedimentais, como montagem de móveis e reparos domésticos, impõem demandas cognitivas significativas aos usuários, exigindo o processamento simultâneo de instruções, manutenção de um modelo de estado mental, raciocínio espacial e recuperação de erros. Embora assistentes multimodais anteriores tenham mostrado promessa, eles enfrentam duas limitações críticas em ambientes domésticos:

1. Privacidade e Latência: A maioria dos sistemas depende de inferência baseada em nuvem para Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs). O streaming de vídeo contínuo para servidores remotos levanta preocupações de privacidade ("ansiedade de vigilância") e introduz latências de ida e volta de 5 a 10 segundos que interrompem o ciclo de coaching imediato (just-in-the-time coaching).
2. Ineficiência e Rigidez: Sistemas existentes frequentemente tratam a percepção ou como "sempre ativa" (incurrendo em altos custos computacionais/térmicos) ou como um pipeline fixo aplicado uniformemente. Eles carecem da capacidade de selecionar ferramentas dinamicamente (visão vs. linguagem) com base nas necessidades específicas do turno atual, tornando a interação em tempo real sustentada em hardware de borda com recursos limitados inviável.

O desafio central é entregar inteligência agêntica que equilibre privacidade, latência e capacidade inteiramente no dispositivo, sem sacrificar a usabilidade.

Metodologia: O Framework ProcAgent

O ProcAgent é um assistente procedural agêntico, baseado em visão e totalmente operado no dispositivo, projetado para rodar em um único NVIDIA Jetson AGX Orin. Ele emprega uma arquitetura de proposição e verificação que desacopla a percepção contínua de baixa latência do raciocínio semântico dispendioso. O sistema opera através de quatro componentes primários:

1. Stack de Percepção de Dois Estágios

• Propositor de Baixa Latência: Um modelo CLIP leve e ajustado (fine-tuned) roda continuamente nos quadros de vídeo de entrada. Ele mapeia os quadros para um espaço de incorporação (embedding) imagem-texto compartilhado para emitir "eventos candidatos" provisórios (ex: "Alinhar e Girar"). Para lidar com ruídos, ele agrega predições por quadro usando uma votação de janela deslizante, emitindo candidatos estáveis em vez de saídas brutas por quadro.
• Verificador Visual Sob Demanda: Um VLM de maior capacidade (Qwen2.5-VL-3B) é invocado apenas quando necessário. Ele serve dois papéis:
  • Verificação de Rastreamento de Estado: Confirmar se um evento candidato emitido pelo propositor está realmente ocorrendo no espaço de trabalho.
  • Fundamentação de Consulta (Query Grounding): Fornecer contexto visual para consultas do usuário que exigem verificação espacial (ex: "Este pé está alinhado corretamente?").

2. Modelo de Tarefa de Máquina de Estados Finitos (FSM)

O sistema utiliza uma máquina de estados finitos aumentada por contadores para codificar a estrutura procedural da tarefa (ex: montagem de móveis da IKEA).

• Estrutura: A tarefa é dividida em fases (ex: Início, Pés da Mesa, Prateleira da Mesa) e eventos. Contadores inteiros rastreiam a conclusão de subetapas (ex: número de pés fixados).
• Condições de Guarda (Guard Conditions): Eventos só podem "disparar" se condições de guarda específicas forem atendidas (ex: "Virar Mesa" só é legal após 4 pés estarem fixados).
• Função: A FSM filtra eventos candidatos. Se um candidato é visualmente confirmado, mas viola uma condição de guarda (ex: virar a mesa cedo demais), o evento é escalado para o agente para intervenção com o humano no ciclo (human-in-the-loop).

3. Agente Procedural

Um agente baseado em LLM (GPT-OSS-20B) media a interação e gerencia o Contexto da Sessão (um registro estruturado de progresso, erros e histórico).

• Raciocinar Antes de Perceber (Reason-Before-Perception): O agente decide se uma consulta do usuário pode ser respondida usando apenas o Contexto da Sessão e a Base de Conhecimento (RAG) ou se requer a invocação do Verificador Visual.
• Humano no Ciclo (HITL): Quando o Verificador Visual confirma um evento, mas a FSM o rejeita (ou vice-versa), o agente inicia um diálogo de confirmação. Ele pede ao usuário para verificar o desvio, deferindo ao julgamento do usuário para evitar falsas intervenções. Este design prioriza a confiança do usuário sobre a correção autônoma em configurações de uso voluntário.

4. Construção da Base de Conhecimento

O conhecimento específico da tarefa é construído offline usando modelos de nuvem (Gemini, GPT-4o) a partir de vídeos de demonstração. Este processo envolve:

• Extração de Etapas Atômicas: Identificação de ações discretas com carimbos de tempo (timestamps).
• Validação entre Modelos: Auditoria das etapas para consistência lógica.

• Geração de Contexto Hierárquico: Criação de descrições de tarefas estruturadas e contextos RAG para o agente de tempo de execução.

• Integração: Configuração do motor FSM de tempo de execução com o grafo de tarefas extraído.

Principais Contribuições

1. Sistema Agêntico de Ponta a Ponta no Dispositivo: O ProcAgent demonstra que o suporte procedural adaptativo em tempo real pode ser alcançado inteiramente em hardware de borda (Jetson AGX Orin) sem inferência na nuvem, preservando a privacidade e a confiança do usuário.
2. Framework Multimodal Eficiente: O artigo introduz um método para tornar os assistentes procedimentais eficientes em dispositivos de borda, utilizando um propositor leve para monitoramento contínuo e invocando o raciocínio visual caro apenas quando surge ambiguidade ou desvio.
3. Caracterização Empírica: Através de ablações de sistema e um estudo com usuários, o trabalho identifica as contribuições específicas de cada componente (percepção, FSM, RAG, HITL) para a precisão, eficiência de recursos e experiência do usuário. Destaca a confirmação via humano no ciclo como um driver crítico para a adesão à sequência.

Resultados

O sistema foi avaliado em 15 vídeos de montagem da IKEA e em um estudo com usuários com 10 participantes.

Desempenho do Sistema

• Latência: O sistema resolve consultas apenas de texto em aproximadamente 2 segundos e consultas visualmente fundamentadas em aproximadamente 8 segundos.
• Precisão: O sistema completo alcançou uma Precisão de Estado de 83,7% e uma Adesão à Sequência de 72,8%.
• Insights de Ablação:
  • O Verificador Visual melhorou significativamente a correção das respostas e a consistência factual.
  • A FSM forneceu estrutura procedural essencial e reduziu a carga da GPU ao filtrar candidatos inválidos antes da verificação.
  • A Confirmação do Usuário foi o maior contribuidor individual para a Adesão à Sequência, resolvendo divergências entre o verificador visual e o modelo de tarefa.
  • Comparado a uma linha de base de "VLM Único" (sem rastreamento de estado), o ProcAgent mostrou melhorias substanciais em Consistência Factual (3,71 vs. 2,54), Utilidade (3,43 vs. 1,56) e Correção (3,64 vs. 1,85).

Eficiência de Recursos

Rodando no Jetson AGX Orin, o sistema completo manteve uma carga média de GPU de ~75% e consumo de energia de ~41W, mantendo-se dentro de envelopes térmicos seguros. Configurações sem o filtro da FSM (verificação sempre ativa) resultaram em maior estresse térmico (aproximando-se de 59°C) e sessões mais longas.

Estudo com Usuários

Em um estudo com 10 participantes montando móveis:

• Compreensibilidade e Capacidade de Ação: Receberam as classificações mais altas; os usuários acharam o feedback claro e imediatamente utilizável.
• Conforto de Privacidade: Os participantes valorizaram explicitamente a operação no dispositivo, indicando que o processamento local contribui significativamente para a confiança.
• Demanda Mental: Os usuários não acharam o sistema mentalmente cansativo, validando a estratégia de "Divulgação Progressiva" (reconhecimentos leves antes de respostas completas).
• Confiança: Embora geralmente positiva, existiu certa incerteza residual quanto às intervenções proativas, o que é esperado para usuários de primeira viagem em padrões de interação novos.

Significância

O artigo argumenta que o suporte procedural adaptativo não requer dependência da nuvem. O compromisso entre privacidade, latência e capacidade é arquitetônico, não fundamental. Ao combinar percepção seletiva, aplicação de estado fundamentada em FSM e confirmação com o humano no ciclo, o ProcAgent alcança orientação confiável em hardware de borda comum. O trabalho sugere que, para assistência no mundo físico, o "design correto" (integrando estrutura, visão seletiva e feedback humano) é mais crítico do que a escala bruta do modelo ou a conectividade com a nuvem.