Resumo Técnico: Processo de Engajamento (EP)

Declaração do Problema

Avanços recentes em modelos de linguagem de grande escala (LLMs), inteligência corporificada e agentes aumentados por ferramentas permitiram a operação em ambientes digitais e físicos cada vez mais realistas. No entanto, existe uma incompatibilidade fundamental entre a estrutura temporal de ações e observações nesses contextos. Formalismos de interação tradicionais, como Processos de Decisão de Markov Parcialmente Observáveis (POMDPs), dependem de épocas de decisão fixas onde uma observação é emparelhada com uma única ação instantânea. Na realidade, os agentes frequentemente enfrentam:

• Problemas de temporização no lado da ação: Latência de deliberação (por exemplo, tempo de raciocínio do LLM), ações persistentes (por exemplo, comandos de navegação) e chamadas de ferramentas com resultados atrasados.
• Problemas de temporização no lado da observação: Chegadas assíncronas ou esparsas de mensagens, alarmes e respostas de ferramentas, juntamente com feedback de sensores contínuo ou multirrate.

Abordagens atuais frequentemente tratam esses fenômenos temporais como detalhes de implementação ou os lidam por meio de correções externas (por exemplo, intervalos de sondagem fixos ou regras de interrupção artesanais). Isso obscurece a estrutura temporal necessária para que os agentes adaptem seu comportamento a custos de tempo explícitos, levando a políticas subótimas que podem superdeliberar, perder eventos urgentes ou falhar em interromper processos em andamento de forma eficaz.

Metodologia: O Processo de Engajamento (EP)

Os autores propõem o Processo de Engajamento (EP), um novo formalismo de interação que herda a estrutura teórica de decisão dos POMDPs, mas reavalia fundamentalmente a interface temporal.

Definição Central

Um EP é definido sobre uma sequência discreta de tiques $T = \{0, 1, 2, \dots\}$ (extensível a tempo contínuo) e especificado por $E = (S, A, Y, F, O, U)$:

• Estado ($S$): Resume o ambiente, processos em andamento e condições de interface. Pode codificar efeitos de ações persistentes e acesso a observações dependente do estado.
• Ações como Intervenções: Diferentemente dos POMDPs padrão, onde uma ação é um controle padrão a cada tique, o EP trata ações como intervenções temporizadas. O agente seleciona um conjunto de intervenções $A_t \subseteq A$ (que pode ser vazio ou conter múltiplas ações atômicas simultâneas).
• Observações como Eventos: As observações são geradas a partir do processo de estado como eventos de informação $Y_t \subseteq Y$, independentes dos passos de decisão. Elas podem chegar de forma assíncrona, estar vazias ou conter múltiplos eventos.
• Dinâmica: O estado evolui como $s_{t+1} \sim F(\cdot | s_t, A_t)$. Crucialmente, o sistema evolui mesmo quando $A_t = \emptyset$, permitindo a modelagem de processos persistentes.
• Utilidade: A utilidade instantânea $u_t$ pode representar recompensas de tarefa, bem como custos para execução de ação, sensoriamento, interrupções e tempo de deliberação.

Distinções Principais

• Desacoplamento: O EP separa o processo de decisão interno do agente da temporização externa de observações e intervenções. O agente mantém um estado de informação $w_t$ baseado no histórico de conjuntos de intervenções e conjuntos de eventos de observação, permitindo que ele rastreie computações pendentes, chamadas de ferramentas e prazos.
• Reutilização Composicional: A interface suporta organização hierárquica. Subsistemas dentro de um agente podem ser modelados como processos semelhantes a EPs, onde chamadas de módulo são intervenções e mensagens retornadas são observações, todos compartilhando a mesma interface abstrata.
• Relação com Modelos Existentes:
  • POMDPs: Recuperados como um caso especial sincronizado onde cada tique tem exatamente uma ação e uma observação.
  • SMDPs/Opções: Representados como EPs restritos onde intervenções criam componentes "ativos" no estado, mas o EP permite que observações entrem na interface durante a execução dessas opções, não apenas no término.

Contribuições Principais

1. Interface Temporal Explícita: O EP fornece uma linguagem unificada para fenômenos temporais (latência de deliberação, feedback atrasado, ações persistentes, interrupções, observações multirrate) que são frequentemente tratados separadamente ou ocultos no design de estado.
2. Separação de Preocupações: Ele desacopla a interface externa de ação-observação da organização interna do agente, permitindo que componentes operando em frequências diferentes (por exemplo, planejadores de alto nível vs. controladores de baixo nível) coordenem-se em uma linha do tempo compartilhada.
3. Formalismo Unificado: Oferece uma interface homogênea tanto para interação agente-ambiente quanto para interação interna módulo-módulo, facilitando o design composicional sem exigir interfaces separadas para cada fronteira.

Resultados Experimentais

Os autores avaliam o EP em três cenários:

1. Experimentos de Brinquedo

• Deliberação Consciente de Urgência: Em tarefas onde a precisão do raciocínio melhora com o tempo, mas consome um prazo, políticas treinadas com EP aprendem a equilibrar a profundidade de computação contra a urgência. Em contraste, políticas treinadas por etapas (que tratam a deliberação como instantânea) usam excessivamente o modo mais lento e preciso, levando a altas taxas de tempo esgotado (79,0% vs. 0,0% para EP em configurações de tarefa única).
• Patrulha Hierárquica com Interrupções: Em uma tarefa de patrulha com alarmes assíncronos, o EP permite que o agente interrompa rotinas de navegação ou manuseio em andamento imediatamente após a chegada do alarme.
  • Nível de Módulo: O EP resolve 90,9% dos alarmes, comparado a 51,5% para uma linha de base que decide apenas nas fronteiras de módulo.
  • Nível de Estado: O EP supera correções manuais e linhas de base baseadas em fronteiras ao aprender compensações entre urgência, distância, progresso de fase e custos de interrupção, alcançando retornos significativamente mais altos e taxas de expiração mais baixas.

2. Experimentos Baseados em LLM

• Assistente Digital (E-mails Assíncronos): Um agente deve completar uma tarefa principal enquanto lida com e-mails sensíveis ao tempo.
  • EP trata a geração da tarefa principal como uma ação interrompível, permitindo que o agente triage e-mails à medida que chegam.
  • Linhas de Base: AgentLoop (sincronizado) perde muitos prazos; Periodic Poll melhora, mas é limitado por intervalos fixos.
  • Resultado: O EP alcança a maior utilidade e pontuações equilibradas, reduzindo as taxas de tempo esgotado de e-mail em ~40% em relação ao AgentLoop e reduzindo a latência de primeira resposta em quase metade.
• Agendamento Corporificado: Um agente coordena processos de tutoria e culinária.
  • EP expõe sinais de culinária imediatamente durante a tutoria, permitindo que o agente decida se deve interromper, adiar ou continuar.
  • Resultado: O EP alcança a maior utilidade e taxas de sucesso de pratos críticos, superando linhas de base baseadas em sondagem e reflexos do lado do motor, particularmente em cenários de múltiplos pratos com prazos sobrepostos.

3. Treinamento de LLM Consciente do Tempo

• Os autores treinaram modelos de raciocínio (Qwen3-8B) em problemas de matemática com orçamentos de tokens explícitos e instruções de urgência.
• Treinamento Consciente de EP: Recompensas são dadas apenas se a resposta estiver correta e dentro do orçamento de tokens.
• Resultado: Modelos conscientes de EP aprendem a adaptar o comprimento da geração ao orçamento (por exemplo, gerando ~420 tokens para um orçamento de 1k vs. ~1400 para um orçamento de 8k). Em contraste, modelos de RL apenas de correção (RLVR) melhoram a precisão, mas falham em respeitar orçamentos, frequentemente gerando muito mais tokens do que o permitido.

Significado e Alegações

O artigo afirma que o Processo de Engajamento não busca maior expressividade do espaço de estados do que POMDPs aumentados. Em vez disso, sua contribuição principal é uma interface temporal explícita que desacopla ações e observações em uma linha do tempo compartilhada.

• Escopo Moderado: O EP é apresentado como um formalismo de interação, não uma arquitetura de agente específica ou algoritmo de aprendizado. Ele deixa o gerenciamento de memória, agendamento e aprendizado de políticas para os sistemas construídos sobre ele.
• Valor Central: Ao tornar o tempo explícito na interface, o EP expõe estruturas temporais (como latência de deliberação e feedback assíncrono) que são frequentemente ocultas em formulações padrão baseadas em etapas. Isso permite que os agentes se adaptem a custos de tempo explícitos, lidem com interrupções de forma mais flexível e componham subsistemas com dinâmicas temporais heterogêneas sem depender de correções externas ou cronogramas de sondagem rígidos.
• Trabalho Futuro: Os autores sugerem que direções futuras incluem arquiteturas conscientes de EP, formulações de tempo contínuo mais ricas e avaliações em maior escala em ambientes corporificados, hierárquicos e multiagente.