💻 computer science

Speculative Actions: A Lossless Framework for Faster Agentic Systems

이 논문은 마이크로프로세서의 예측 실행과 LLM 의 예측 디코딩에서 영감을 받아, 더 빠른 모델로 미래 행동을 예측하여 병렬 실행함으로써 에이전트 시스템의 지연 시간을 최대 20% 단축하는 'Speculative Actions'라는 손실 없는 가속 프레임워크를 제안합니다.

원저자: Naimeng Ye, Arnav Ahuja, Georgios Liargkovas, Yunan Lu, Kostis Kaffes, Tianyi Peng

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Naimeng Ye, Arnav Ahuja, Georgios Liargkovas, Yunan Lu, Kostis Kaffes, Tianyi Peng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"Speculative Actions(추측적 행동)"**이라는 새로운 기술을 소개합니다. 이를 쉽게 설명하자면, **"AI 에이전트가 기다리는 시간을 '예측'으로 채워 넣는 마법"**이라고 할 수 있습니다.

기존의 AI 는 한 가지 일을 하고 그 결과가 나올 때까지 꼼짝없이 기다렸다가, 다음 일을 시작했습니다. 마치 식당에서 요리사가 주문을 받고, 재료를 다듬고, 요리하고, 손님이 먹을 때까지 기다리는 동안 아무것도 안 하고 서 있는 것과 비슷합니다. 이 논문은 이 '기다리는 시간'을 없애는 방법을 제안합니다.

핵심 개념을 일상적인 비유로 설명해 드릴게요.

1. 핵심 아이디어: "주방장 (Actor) 과 보조 셰프 (Speculator)"

이 시스템은 두 명의 역할로 나뉩니다.

주방장 (Actor, 느리지만 확실함): 최고의 요리사지만, 요리하는 데 시간이 오래 걸립니다. 이 사람이 만든 요리가 진짜 정답입니다.
보조 셰프 (Speculator, 빠르지만 예측만 함): 요리 실력은 주방장보다 떨어질 수 있지만, 매우 빠릅니다. 이 사람은 "주방장이 지금 어떤 요리를 할까?"를 빠르게 추측해서 미리 재료를 준비해 둡니다.

어떻게 작동할까요?

기존 방식: 주방장이 요리를 시작할 때까지 기다림 → 요리가 완성되면 손님에게 전달 → 다음 주문을 받음. (시간이 많이 걸림)
새로운 방식 (Speculative Actions):
- 주방장이 요리를 시작하는 순간, **보조 셰프는 "아마도 A 요리를 할 거야, B 요리를 할 거야, C 요리를 할 거야"**라고 3 가지를 빠르게 추측합니다.
- 보조 셰프는 이 3 가지 요리에 필요한 재료를 미리 준비해 둡니다. (이때는 아직 요리하지 않고 준비만 합니다.)
- 잠시 후 주방장이 "A 요리를 할게!"라고 말하면, 이미 준비된 A 요리를 바로 손님에게 줍니다. 기다림이 사라집니다!
- 만약 주방장이 "아, 내가 B 요리를 할게!"라고 말하면? 이미 준비된 B 요리로 바로 전환하면 됩니다.
- 만약 주방장이 "D 요리를 할게!"라고 말하면? (예측이 틀린 경우) 미리 준비한 A, B, C 요리는 버리고, 주방장이 D 요리를 시작할 때부터 다시 기다리면 됩니다.

결론: 예측이 맞으면 시간을 아끼고, 예측이 틀려도 결과물은 똑같습니다. (실수를 저지르지 않고, 그냥 준비만 안 했을 뿐이니까요.)

2. 어디에 쓰일까요? (실제 사례)

이 기술은 다양한 곳에서 테스트되었습니다.

체스 게임 (바둑/체스):
- 상대방이 수를 두는 동안, 우리 AI 는 "상대방이 A 칸에 둘까, B 칸에 둘까?"를 미리 추측해서 다음 수를 계산해 둡니다.
- 상대방이 실제로 A 칸에 두면, 우리 AI 는 이미 계산된 다음 수를 바로 내보냅니다. 게임이 훨씬 빨라집니다.
쇼핑몰 챗봇 (이커머스):
- 고객이 "반품하고 싶은데..."라고 말하기 전에, 챗봇은 "아마도 반품을 요청할 거야"라고 추측해서 반품 가능 여부 확인을 미리 해둡니다.
- 고객이 실제로 반품을 요청하면, 이미 확인된 결과를 바로 알려줍니다. 고객이 기다리는 시간이 사라집니다.
웹 검색 (정보 찾기):
- "2024 년 노벨상 수상자는?"을 검색할 때, 검색 결과가 나올 때까지 기다리는 동안 AI 는 "아마도 X 일 거야"라고 추측해서 그다음에 물어볼 만한 질문들을 미리 준비해 둡니다.

3. 왜 중요한가요? (장점)

속도 향상: 실험 결과, 최대 20% 까지 속도가 빨라졌습니다. (예측이 맞을 때 더 빨라집니다.)
비용 효율성: 예측을 위해 추가적인 계산 비용이 들지만, 전체적으로 기다리는 시간이 줄어들어 오히려 효율이 좋아질 수 있습니다.
안전성 (Lossless): 예측이 틀려도 원래대로 돌아가서 다시 시작하므로, 최종 결과물은 항상 정확합니다. 실수가 생기지 않습니다.

4. 한 가지 주의할 점: "과유불급"

무작정 많은 것을 예측하면 비용이 너무 늘어날 수 있습니다.

비유: 보조 셰프가 100 가지 요리를 미리 준비해 두면, 주방장이 1 가지만 고르더라도 99 가지는 버려야 합니다. 이 경우 재료비 (비용) 가 너무 많이 듭니다.
해결책: 이 논문은 "얼마나 많은 것을 예측할지"를 계산하는 수학적 공식을 제시합니다. 예측 확률이 높을 때만 여러 가지를 준비하고, 확률이 낮을 때는 적게 준비하도록 지혜롭게 조절하는 것입니다.

요약

이 논문은 **"AI 가 멍하니 기다리는 시간을, '미리 생각하기'로 채워 넣자"**는 아이디어입니다.

마치 비행기 이륙 전에 조종사가 "날씨가 좋으면 A 경로로, 나쁘면 B 경로로 갈 거야"라고 미리 경로를 여러 개 짜두는 것과 같습니다. 실제 날씨가 결정되면 즉시 그 경로를 선택해 이륙할 수 있으니, 비행이 훨씬 수월하고 빨라지는 것입니다.

이 기술은 앞으로 AI 가 더 빠르고 자연스럽게 우리 일상 (쇼핑, 게임, 업무) 에 녹아들 수 있게 해주는 중요한 열쇠가 될 것입니다.

1. 문제 정의 (Problem)

순차적 실행의 병목 현상: LLM 기반 에이전트는 브라우저, OS, 게임 엔진, 전자상거래 등 다양한 환경에서 상호작용합니다. 에이전트의 행동은 일반적으로 도구 호출 (Tool calls), API 요청, 인간 피드백 등을 포함하는 순차적 (Sequential) 과정으로 이루어집니다.
지연 시간 (Latency) 과 비용: 각 단계마다 API 호출이 필요하며, 이는 상당한 왕복 시간 (Round-trip time) 과 비용을 발생시킵니다. 예를 들어, 최첨단 에이전트 간의 체스 게임은 수 시간이 걸릴 수 있으며, 강화학습이나 프롬프트 최적화를 위해 수천 번의 반복이 필요한 경우 비효율성이 극대화됩니다.
핵심 질문: "에이전트가 환경과 상호작용할 때 반드시 순차적으로만 행동해야 하는가?"

2. 방법론 (Methodology)

저자들은 마이크로프로세서의 예측 실행 (Speculative Execution) 과 LLM 추론의 예측 디코딩 (Speculative Decoding) 에서 영감을 받아 "Speculative Actions (예측적 행동)" 프레임워크를 제안했습니다.

핵심 아키텍처

에이전트 루프를 두 가지 역할로 분할하여 병렬 처리를 가능하게 합니다.

Actor (주체): 정확하고 권위적이지만 느린 실행자 (SOTA LLM, 외부 API, 인간 등). 실제 상태 전이와 부수 효과 (Side effects) 를 담당합니다.
Speculator (예측자): 빠르고 저렴하지만 정확도가 다소 낮은 모델 (소규모 LLM, 간소화된 프롬프트, 도메인 휴리스틱 등). 다음 단계의 행동과 그 결과를 예측합니다.

작동 원리

예측 및 병렬 실행: Actor 가 현재 단계의 결정을 내리는 동안, Speculator 는 가능한 다음 행동 (Next Action) 을 여러 개 (k-branch) 예측합니다.
선제적 호출 (Pre-launch): 예측된 행동에 따라 다음 단계의 API 호출을 병렬로 미리 시작합니다.
검증 및 커밋 (Validation & Commit): Actor 가 실제 결과를 반환하면, Speculator 의 예측과 비교합니다.
- 일치 (Hit): 미리 실행된 결과가 유효하므로 즉시 커밋하여 대기 시간을 제거합니다.
- 불일치 (Miss): 예측이 틀린 경우, 미리 실행된 작업은 폐기 (Rollback) 되고 Actor 의 결과를 기반으로 정상적으로 진행합니다.

손실 없는 설계 (Lossless Design)

최종 결과의 정확도를 떨어뜨리지 않기 위해 다음 안전 장치를 도입했습니다.

의미적 가드 (Semantic Guards): Actor 가 상태 전이의 동등성을 확인한 후 커밋합니다.
안전 영역 (Safety Envelopes): 되돌릴 수 있는 (Reversible) 작업이나 샌드박스 환경에서만 예측적 부수 효과를 허용합니다.
수정 경로 (Repair Paths): 예측 실패 시 롤백하거나 보상 행동을 수행합니다.

3. 주요 기여 (Key Contributions)

범용 에이전트 프레임워크: 계획 (Planning) 단계뿐만 아니라 LLM 호출, 도구 API, MCP 서버 상호작용, 심지어 인간 응답까지 포함한 전체 에이전트 환경에 예측을 적용하는 통합 프레임워크를 제시했습니다.
너비 중심 (Breadth-focused) 전략: 기존 연구들이 깊이 (Depth, 여러 단계ahead) 에 집중했다면, 본 논문은 각 단계에서 여러 가지 가능한 행동 (k-branch) 을 병렬로 예측하는 전략을 연구했습니다.
비용 - 지연 시간 트레이드오프 분석: 예측의 폭 (k) 을 늘릴 때 발생하는 추가 비용과 얻는 시간 절약 사이의 수학적 관계를 정립했습니다.
- 정리 1 (Proposition 1): 예측 정확도 $p$ 와 모델 속도 ( $\alpha, \beta$ ) 에 따른 이론적 지연 시간 감소 상한을 유도했습니다.
- 정리 3 & 4: 고정된 예측 개수 (Static) 와 신뢰도 기반 동적 선택 (Dynamic Selective) 전략의 비용 효율성을 분석하고, 최적의 예측 너비를 결정하는 수식을 제시했습니다.
손실 있는 확장 (Lossy Extension): OS 튜닝과 같이 손실 (Loss) 이 허용되는 환경에서는 예측 실패 시에도 즉시 적용하여 시스템 반응성을 극대화하는 방식을 시연했습니다.

4. 실험 결과 (Results)

논문은 4 가지 다른 환경에서 프레임워크를 평가했습니다.

환경	시나리오	주요 결과
체스 (Turn-based)	상대방의 수 예측 및 다음 수 분석 병렬화	54.7%의 예측 정확도 달성. 19.5%의 전체 실행 시간 단축.
전자상거래 (E-commerce)	고객 문의에 따른 API 호출 (주문 조회, 반품 등) 예측	22~38%의 API 호출 정확도. 사용자 입력 시간 (약 30 초) 보다 빠른 예측으로 즉시 응답 가능.
웹 검색 (HotpotQA)	다단계 검색 쿼리 예측	Top-3 예측 시 46%의 정확도. 대기 시간 동안 추론 경로를 미리 계산.
OS 튜닝 (Lossy)	Linux 스케줄러 파라미터 실시간 조정	Actor-only 대비 37.93ms의 p95 지연 시간 (Actor-only 는 54.00ms). 수렴 시간 200 초 → 13 초로 단축.

성능: 전반적으로 최대 20% 의 지연 시간 감소를 달성했습니다.
비용 효율성: 동적 신뢰도 기반 선택 (Confidence-based selection) 을 사용하면 고정된 예측 개수 전략보다 낮은 비용으로 동등한 속도 향상을 얻을 수 있음을 보였습니다.
OS 환경: 예측적 조정이 Actor 의 결정을 기다리는 동안 시스템 성능 저하를 즉시 완화하여, 전체 비용과 지연 시간을 동시에 감소시켰습니다.

5. 의의 및 결론 (Significance)

패러다임 전환: 에이전트 시스템의 비효율적인 '대기 시간 (Idle time)'을 '생산적인 계산 시간'으로 전환하는 새로운 접근법을 제시했습니다.
실용성: 복잡한 환경 (게임, 웹, OS) 에서 실제 적용 가능성을 입증했으며, 이론적 분석을 통해 시스템 설계자가 예측의 폭 (Breadth) 을 어떻게 조절해야 하는지에 대한 가이드라인을 제공합니다.
미래 방향: 예측적 실행이 LLM 추론뿐만 아니라 에이전트의 전체적인 상호작용 루프를 가속화할 수 있음을 보여주어, 실시간 에이전트 시스템의 상용화에 중요한 기여를 했습니다.

요약하자면, 이 논문은 **"빠른 모델로 미래를 예측하여 느린 모델이 결과를 낼 때까지 미리 작업을 수행함으로써, 에이전트의 응답 속도를 획기적으로 높이는 손실 없는 프레임워크"**를 제안하고 이를 다양한 환경에서 검증했습니다.