기술 요약: AsyncFC – 모델 변경 없이 동시성 구현

문제 제기

현대 대규모 언어 모델 (LLM) 에이전트는 외부 API 와 상호작용하고 작업을 수행하기 위해 함수 호출 (도구 사용) 에 의존합니다. 그러나 지배적인 실행 의미론은 엄격하게 동기식입니다. 함수 호출이 완료되고 그 결과가 대화 기록에 추가될 때까지 모델의 디코딩 과정이 차단됩니다. 이러한 직렬화는 병목 현상을 크게 유발하여, 특히 여러 순차적 또는 병렬 도구 호출이 포함된 워크플로우에서 종단 간 지연 시간을 증가시킵니다.

이를 완화하기 위한 기존 접근법들은 종종 함수 호출 프로토콜을 변경하거나, 모델 아키텍처를 수정하거나, 동시성 관리의 복잡성을 모델 자체로 이전시키는 것을 요구합니다. 이러한 변경들은 표준 호출 - 반환 의미론을 훼손하거나, 경쟁 조건을 도입하거나, 추가적인 파인튜닝을 필요로 할 수 있습니다.

방법론: AsyncFC

저자들은 기본 모델, 함수 구현, 또는 표준 동기식 함수 호출 프로토콜에 어떤 변경도 요구하지 않고 LLM 디코딩과 함수 실행을 분리하는 순수 실행 계층 프레임워크인 AsyncFC를 소개합니다.

핵심 메커니즘

1. 기반 (Future) 기반 디코딩:

   • AsyncFC 는 동기식 함수 스키마를 기반 값 (future-valued) 입력 및 출력을 지원하도록 변환합니다.
   • 모델이 함수 호출을 생성하면, 런타임은 실행을 백엔드 실행기로 디스패치하고 즉시 모델에게 기호적 기반 자리표시자 (해결되지 않은 결과) 를 반환합니다.
   • 이는 모델이 함수가 완료될 때까지 기다리지 않고 후속 턴의 디코딩을 계속할 수 있게 하여, 표준 호출 - 반환 프로토콜을 만족하면서도 디코딩 - 실행 오버랩을 가능하게 합니다.
   • 프레임워크는 함수 입력을 구체적인 값 또는 기반 식별자를 모두 수용하도록 자동으로 변환하여, 모델이 해결되지 않은 결과를 후속 호출의 인수로서 추론할 수 있게 합니다.

2. 이벤트 기반 결과 통합:

   • 함수 실행이 완료되면, AsyncFC 는 기반 식별자를 그 값에 바인딩하는 사용자 메시지를 삽입함으로써 턴 경계에서 해결된 결과를 모델의 컨텍스트에 능동적으로 통합합니다.
   • 모델이 명시적으로 구체적인 값을 필요로 하는 경우 (예: await_future 호출을 통해), 런타임은 지연 시간 패널티를 최소화하기 위해 이러한 의도를 조기에 감지하며, 오버헤드를 줄이기 위해 병렬 디코딩 스트림을 활용할 수 있습니다.

3. 의존성 인식 스케줄링:

   • 함수를 안전하게 병렬 실행하기 위해 AsyncFC 는 리소스 의존성에 기반하여 동시성을 관리하는 스케줄러를 사용합니다.
   • 기본 동작: 주석이 없으면 스케줄러는 정확성을 보장하기 위해 실행을 보수적으로 직렬화합니다.
   • 최적화된 동작: 개발자는 함수 리소스에 대한 읽기/쓰기 집합을 지정하는 경량 의존성 주석 (데코레이터를 통해) 을 제공할 수 있습니다. 스케줄러는 이를 사용하여 작업별 함수 의존성 DAG 를 유도하며, 의존성이 충족될 때 (즉, 충돌하는 상태 접근이 없을 때) 만 병렬 실행을 허용합니다.
   • 이 접근법은 결정론적 상태 업데이트를 유지하고 경쟁 조건을 피하면서 함수 간 병렬성을 해제합니다.

4. 오류 처리:

   • 함수가 실패하면 AsyncFC 는 전이적으로 의존하는 후속 호출들을 모두 취소하지만, 독립적인 호출들은 변경 없이 둡니다. 실패 메시지는 컨텍스트에 주입되어 복구 턴을 트리거합니다.

주요 기여

• 프로토콜 호환성 비동기성: AsyncFC 는 시중의 LLM 이 기대하는 표준 동기식 호출 - 반환 프로토콜을 엄격하게 유지하면서 비동기 함수 호출과 함수 간 병렬성을 가능하게 하는 최초의 프레임워크입니다.
• 영향 없는 모델 수정: 이 시스템은 파인튜닝, 아키텍처 변경, 또는 기존 함수 구현 수정을 요구하지 않습니다. 이는 완전히 실행 계층에서 작동합니다.
• 네이티브 추론 발견: 이 연구는 LLM 이 해결되지 않은 실행 결과를 나타내는 기호적 기반 자리표시자에 대해 추론할 수 있는 네이티브 능력을 보유하고 있음을 보여줍니다. 이는 명시적인 훈련 없이도 모델 - 도구 상호작용을 위한 비동기 패러다임을 가능하게 합니다.
• 일반화 가능성: 이 프레임워크는 외부 도구 사용을 넘어 비동기적 사고로 확장되며, 여기서 하위 작업은 지연 시간이 긴 함수 호출로 간주되어 주요 모델이 병렬 추론 에이전트들을 조정할 수 있게 합니다.

실험 결과

저자들은 표준 함수 호출 벤치마크 (BFCL v3/v4), 소프트웨어 엔지니어링 작업 (SWE-bench Lite), 그리고 멀티홉 추론 (HotpotQA) 에서 AsyncFC 를 평가했습니다.

• 지연 시간 감소:
  • BFCL v4 웹 검색: 현실적인 함수 지연 시간 하에서 순차적 FC 대비 1.26 배의 속도 향상과 병렬 FC 대비 1.12 배의 속도 향상을 달성했습니다.
  • SWE-bench Lite: SWE-agent 와 통합된 AsyncFC 는 기준 SWE-agent 대비 1.44 배의 속도 향상과 병렬 FC 변형 대비 통계적으로 유의미한 개선을 달성했습니다.
  • HotpotQA: 멀티홉 추론 작업에서 1.24 배의 속도 향상을 보여주었습니다.
• 정확도 유지: 모든 벤치마크에서 AsyncFC 는 동기식 기준 대비 작업 정확도에서 통계적으로 유의미한 저하가 없었음을 보여주었습니다. 이는 모델이 해결되지 않은 기반에 대해 성공적으로 추론할 수 있음을 확인시켜 줍니다.
• 확장성: 지연 시간 절감은 함수 실행 시간에 따라 확장되는 것으로 나타났습니다. 초기에는 디코딩 - 실행 오버랩에 의해 주도되었으나, 함수 지연 시간이 증가함에 따라 증가된 이득은 점점 더 함수 간 병렬성에 의해 지배됩니다.
• 모델 간 견고성: 이 프레임워크는 다양한 모델 (GPT-4o, Gemini 3.1 Pro, GPT-5.2) 에서 성공적으로 성능을 개선했으며, 명시적 의존성 주석이 있는 경우와 없는 경우 모두에서 작동했습니다 (주석이 있는 경우 더 높은 속도 향상을 보임).

중요성 및 주장

이 논문은 AsyncFC 가 시스템 런타임으로 동시성 관리를 이전함으로써 에이전트 워크플로우의 중요한 병목 현상을 해결한다고 주장합니다. 그 중요성은 세 가지 영역에 있습니다:

1. 효율성: 표준 상호작용 프로토콜을 훼손하지 않고 활용 가능한 병렬성을 극대화함으로써, 특히 지연 시간이 긴 작업을 수행하는 도구 사용 에이전트의 종단 간 지연 시간을 줄이는 실용적이고 즉시 적용 가능한 솔루션을 제공합니다.
2. 능력 통찰: 이 결과는 현대 LLM 이 기호적 기반에 대해 네이티브로 추론할 수 있음을 경험적으로 증명합니다. 이는 "비동기" 능력이 프라미스/기반과 같은 비동기 패턴을 포함하는 소프트웨어 아티팩트로 훈련된 모델의 발현적 속성일 뿐, 명시적인 아키텍처 개입이 필요한 기능이 아님을 시사합니다.
3. 시스템 설계: 명시적 실행 순서 의미론과 의존성 인식 스케줄링을 도입함으로써 AsyncFC 는 기존 병렬 함수 호출 API 에 존재하는 모호성을 해결하고, 경쟁 조건으로 인한 실패 모드를 줄이면서 안전하고 의존성 안전한 병렬성을 가능하게 합니다.

저자들은 이 비동기 모델 - 도구 상호작용 패턴이 외부 도구 사용과 내부 추론 과정 모두에 적용 가능한 유연하고 효율적인 에이전트 워크플로우를 설계하기 위한 새로운 패러다임을 제공한다고 결론지었습니다.