Building Interactive Real-Time Agents with Asynchronous I/O and Speculative Tool Calling

`) seguido de ações específicas: chamar uma ferramenta, pausar para aguardar mais informações ou fornecer uma resposta final. Também pode lidar com interrupções onde o contexto é atualizado durante a geração.

2. Chamada Especulativa de Ferramentas

Para minimizar a latência, o sistema visa lançar chamadas de ferramentas assim que informações suficientes estiverem disponíveis, mesmo que a entrada do usuário esteja incompleta.

• Gerenciamento de Incerteza: O sistema gerencia o risco de chamadas de ferramentas incorretas categorizando-as como "seguras" (somente leitura) ou "inseguras" (modificadoras de estado).
  • Ferramentas Seguras: Podem ser executadas especulativamente com base em informações parciais.
  • Ferramentas Inseguras: A execução é mantida até que um "ponto de compromisso" seja alcançado (definido como receber a atualização final da consulta do usuário e o modelo indicar que nenhuma modificação adicional no plano é necessária).
• Mecanismo de Correção: O framework permite que o modelo modifique ou remova chamadas de ferramentas que foram emitidas, mas ainda não executadas. Se uma chamada de ferramenta for invalidada por novas informações, o sistema pode cancelar a chamada pendente (injetando uma mensagem de cancelamento) ou editar os argumentos. Se uma ferramenta somente leitura especulativa já tiver sido executada, mas posteriormente for considerada incorreta, o sistema descarta a observação e impede que dependências a jusante a utilizem.

3. Framework de Treinamento e Inferência

• Treinamento Baseado em Relógio: Para adaptar os modelos a esse comportamento assíncrono, os autores introduzem uma metodologia de treinamento baseada em relógio. O ambiente de treinamento simula atrasos convertendo intervalos de tempo em contagens de tokens com base em uma taxa de tokens por segundo. Eventos (atualizações do usuário, resultados de ferramentas) são armazenados em uma fila de eventos e injetados no contexto do modelo em "tics" de relógio específicos, forçando o modelo a aprender a raciocinar e agir enquanto aguarda informações.
• Geração de Dados Sintéticos: Os autores sintetizam trajetórias de treinamento usando um modelo professor robusto (Qwen-2.5-32B-Instruct). Eles alinham as chamadas de ferramentas verdadeiras com o momento mais cedo possível em que poderiam ser chamadas com base em segmentos de entrada em streaming. Crucialmente, geram exemplos onde o modelo deve corrigir chamadas de ferramentas precoces e errôneas, ensinando o agente a lidar com a lógica de "editar e remover" necessária para a execução especulativa.
• Arquitetura do Sistema: O sistema de inferência apresenta um loop central de agente orientado a eventos (gerenciando contexto e raciocínio) e um gerenciador de tarefas desacoplado (lidando com dependências de ferramentas, execução paralela e verificações de segurança especulativa).

Contribuições Principais

1. E/S Assíncrona: Um método para desacoplar o raciocínio do agente dos atrasos do usuário e do ambiente, permitindo processamento contínuo enquanto aguarda entradas externas.
2. Chamada Especulativa de Ferramentas: Uma estratégia para lançar chamadas de ferramentas antecipadamente, com protocolos específicos para lidar com ferramentas somente leitura versus modificadoras de estado, e mecanismos para modificar ou cancelar chamadas de ferramentas em andamento com base em informações atualizadas.
3. Treinamento Baseado em Relógio e Dados Sintéticos: Um pipeline de treinamento inovador que simula atrasos de streaming e gera dados para Ajuste Fino Supervisionado (SFT), incluindo exemplos de correção de erros para chamadas de ferramentas especulativas.
4. Framework Unificado: Um sistema de inferência orientado a eventos que integra entradas de usuário assíncronas, execução de ferramentas e correção especulativa em um único loop coeso.

Resultados

Os autores avaliaram sua abordagem em APIs de nuvem de código fechado (OpenAI Realtime API) e em modelos de escala de borda de código aberto (Qwen2.5-3B-Instruct e Llama-3.2-3B-Instruct) em duas benchmarks: HotpotQA (busca multi-hop) e TinyAgent (fluxos de trabalho de assistente pessoal multi-etapa).

• Modelos de Nuvem: Aplicado à OpenAI Realtime API, o método alcançou acelerações de 1,3× a 1,7× na latência com apenas perda mínima de precisão em comparação a uma linha de base padrão de raciocinar-e-agir síncrona.
• Modelos de Borda: Para os modelos de 3B parâmetros, a abordagem rendeu acelerações de 1,6× a 2,2× sobre uma forte linha de base SFT. Os modelos treinados com a metodologia proposta "Async-SFT" mantiveram precisão comparável às linhas de base SFT não em streaming, enquanto reduziram significativamente a latência.
• Avaliação Naturalística: Em um conjunto de dados personalizado de enunciados naturalísticos produzidos por humanos (contendo preenchimentos, hesitações e correções no meio do enunciado), os modelos em streaming mostraram precisão menor do que nas benchmarks sintéticas, destacando desafios no tratamento de disfluências de fala do mundo real e desvio de intenção, embora o framework tenha demonstrado com sucesso a capacidade de processar essas entradas.

Significado e Alegações

O artigo alega fornecer uma solução generalizável para habilitar interação em tempo real e de baixa latência em sistemas de IA agêntica. Ao desacoplar o processamento do agente de atrasos externos e introduzir um mecanismo robusto para execução especulativa e correção, o trabalho demonstra que fluxos de trabalho complexos de ferramentas multi-turno podem ser realizados com latência adequada para interações por voz (abaixo de 1 segundo). Os autores enfatizam que sua abordagem permite que APIs de nuvem existentes sejam usadas prontamente com acelerações, ao mesmo tempo em que fornece uma metodologia de treinamento para adaptar modelos menores de escala de borda para cenários de streaming em tempo real. O trabalho se posiciona como um passo unificador para frente, abordando a lacuna entre entradas de usuário assíncronas e respostas de ambiente assíncronas, algo que trabalhos anteriores não abordaram simultaneamente.