Building Interactive Real-Time Agents with Asynchronous I/O and Speculative Tool Calling

`) 다음으로 특정 동작들: 도구 호출, 추가 정보를 기다리기 위해 일시 정지, 또는 최종 답변 제공이 이어집니다. 또한 생성 중 컨텍스트가 업데이트되는 중단 상황도 처리할 수 있습니다.

2. 추측적 도구 호출

지연 시간을 최소화하기 위해 시스템은 사용자의 입력이 불완전하더라도 충분한 정보가 이용 가능해지면 즉시 도구 호출을 시작합니다.

• 불확실성 처리: 시스템은 도구를 "안전"(읽기 전용) 또는 "위험"(상태 변경) 으로 분류하여 잘못된 도구 호출의 위험을 관리합니다.
  • 안전 도구: 부분적인 정보를 기반으로 추측적으로 실행될 수 있습니다.
  • 위험 도구: "커밋 지점"에 도달할 때까지 실행이 보류됩니다. 이는 최종 사용자 쿼리 업데이트를 수신하고 모델이 더 이상 계획 수정이 필요하지 않음을 나타낼 때로 정의됩니다.
• 수정 메커니즘: 이 프레임워크는 모델이 아직 실행되지 않은 도구 호출을 수정하거나 제거할 수 있도록 합니다. 도구 호출이 새로운 정보에 의해 무효화되면 시스템은 대기 중인 호출을 취소하거나 (취소 메시지 주입) 인수를 편집할 수 있습니다. 만약 추측적으로 실행된 읽기 전용 도구가 나중에 잘못되었음이 밝혀지면, 시스템은 해당 관찰을 폐기하고 하위 의존성들이 이를 사용하는 것을 방지합니다.

3. 학습 및 추론 프레임워크

• 클록 기반 학습: 비동기적 행동에 모델을 적응시키기 위해 저자들은 클록 기반 학습 방법론을 도입했습니다. 학습 환경은 초당 토큰 수를 기반으로 시간 간격을 토큰 수로 변환하여 지연을 시뮬레이션합니다. 이벤트 (사용자 업데이트, 도구 결과) 는 이벤트 큐에 버퍼링되어 특정 "클록" 틱에서 모델의 컨텍스트에 주입되며, 이는 모델이 정보를 기다리는 동안 추론하고 행동하도록 학습시킵니다.
• 합성 데이터 생성: 저자들은 강력한 교사 모델 (Qwen-2.5-32B-Instruct) 을 사용하여 학습 궤적을 합성합니다. 그들은 스트리밍 입력 세그먼트를 기반으로 도구 호출이 가능할 수 있는 가장 이른 시점과 실제 도구 호출을 정렬합니다. 특히, 모델이 잘못된 초기 도구 호출을 수정해야 하는 예시를 생성하여 추측적 실행에 필요한 "수정 및 제거" 논리를 에이전트에게 가르칩니다.
• 시스템 아키텍처: 추론 시스템은 컨텍스트와 추론을 관리하는 핵심 이벤트 기반 에이전트 루프와 도구 의존성, 병렬 실행, 그리고 추측적 안전성 검사를 처리하는 분리된 작업 관리자로 구성됩니다.

주요 기여

1. 비동기 I/O: 에이전트 추론을 사용자와 환경의 지연과 분리하여 외부 입력을 기다리는 동안에도 지속적인 처리를 가능하게 하는 방법.
2. 추측적 도구 호출: 읽기 전용 대 상태 변경 도구를 처리하기 위한 특정 프로토콜과 업데이트된 정보를 기반으로 진행 중인 도구 호출을 수정하거나 취소하기 위한 메커니즘을 갖춘 조기 도구 호출 전략.
3. 클록 기반 학습 및 합성 데이터: 스트리밍 지연을 시뮬레이션하고 지도 미세 조정 (SFT) 을 위한 데이터를 생성하며 추측적 도구 호출에 대한 오류 수정 예시를 포함하는 새로운 학습 파이프라인.
4. 통합 프레임워크: 비동기 사용자 입력, 도구 실행, 그리고 추측적 수정을 단일 통합 루프로 통합하는 이벤트 기반 추론 시스템.

결과

저자들은 OpenAI Realtime API 와 같은 폐쇄형 클라우드 API 와 Qwen2.5-3B-Instruct 및 Llama-3.2-3B-Instruct 와 같은 오픈소스 엣지 규모 모델을 대상으로 HotpotQA (다중 홉 검색) 와 TinyAgent (다단계 개인 비서 워크플로우) 라는 두 가지 벤치마크에서 접근 방식을 평가했습니다.

• 클라우드 모델: OpenAI Realtime API 에 적용된 이 방법은 표준 동기식 추론 및 행동 기준선과 비교하여 정확도 손실은 미미하면서 지연 시간에서 1.3 배에서 1.7 배의 속도 향상을 달성했습니다.
• 엣지 모델: 3B 파라미터 모델의 경우, 이 접근 방식은 강력한 SFT 기준선 대비 1.6 배에서 2.2 배의 속도 향상을 보였습니다. 제안된 "Async-SFT" 방법론으로 학습된 모델은 스트리밍이 아닌 SFT 기준선과 비교할 수 있는 정확도를 유지하면서 지연 시간을 크게 단축했습니다.
• 자연스러운 평가: 필러, 망설임, 발화 중 수정 등을 포함한 인간이 생성한 자연스러운 발화 데이터셋에 대한 평가에서 스트리밍 모델은 합성 벤치마크보다 낮은 정확도를 보였으며, 이는 실제 세계의 발화 비유창성과 의도 변화를 처리하는 데 있어 과제를 부각시켰습니다. 다만, 프레임워크는 이러한 입력을 처리할 수 있는 능력을 성공적으로 입증했습니다.

중요성과 주장

이 논문은 에이전트 AI 시스템에서 실시간 저지연 상호작용을 가능하게 하는 일반화 가능한 솔루션을 제공한다고 주장합니다. 에이전트의 처리를 외부 지연과 분리하고 추측적 실행 및 수정을 위한 강력한 메커니즘을 도입함으로써, 이 연구는 복잡한 다중 턴 도구 워크플로우가 음성 상호작용에 적합한 지연 시간 (1 초 미만) 으로 수행될 수 있음을 보여줍니다. 저자들은 기존 클라우드 API 를 즉시 사용하여 속도 향상을 얻을 수 있게 하며, 동시에 실시간 스트리밍 시나리오에 적응하기 위해 더 작은 엣지 규모 모델을 위한 학습 방법론을 제공한다고 강조합니다. 이 연구는 이전 연구들이 동시에 다루지 않았던 비동기 사용자 입력과 비동기 환경 응답 간의 격차를 해결하는 통합적인 진전으로 자리매김합니다.