기술 요약: 비동기적 추론: 학습 없는 대화형 사고 LLM

문제 제기

복잡한 추론이 가능한 현대의 대규모 언어 모델 (LLM) 은 일반적으로 순차적인 '읽기-사고-답변' 패러다임 하에서 작동합니다. 이 사이클에서 모델은 최종 응답의 어떤 부분도 생성하기 전에 전체 사고 과정 (chain-of-thought) 을 완료해야 합니다. 이는 정확도를 높이지만, 음성 비서, 신체화 에이전트, 대화형 연구 도구와 같은 실시간 애플리케이션에 심각한 병목 현상을 초래합니다. '사고' 단계 동안 에이전트는 반응하지 못하며, 새로운 사용자 입력을 처리하거나 변화하는 상황에 적응할 수 없습니다. 이러한 경직성은 인간의 인지 방식과 대조적입니다. 인간은 정보를 처리하거나 내부 논리를 다듬는 동안에도 답변을 구성하기 시작할 수 있도록 듣기, 사고하기, 말하기를 비동기적으로 수행할 수 있기 때문입니다. 이 논문은 현재 LLM 배포의 간극을 지적합니다. 즉, 심층적이고 다단계적인 추론의 이점을 유지하면서도 상호작용성과 낮은 지연 시간을 유지할 수 없다는 점입니다.

방법론: AsyncReasoning

저자들은 기존 추론 LLM 이 모델 가중치를 수정하지 않고 사고와 작성을 동시에 수행할 수 있게 하는 학습 없는 추론 시간 기법인 AsyncReasoning을 제안합니다. 이 방법은 세 가지 동시 토큰 스트림에 의존합니다:

1. 사용자 입력: 프롬프트와 이후의 모든 명확화 요청.
2. 비공개 사고: 사용자에게 숨겨진 내부 사고 과정 (chain-of-thought).
3. 공개 응답: 사용자를 위해 생성된 가시적 출력 스트림.

핵심 메커니즘

• 위치 임베딩을 통한 이중 뷰: 핵심 혁신은 회전 위치 임베딩 (RoPE) 의 기하학적 특성을 활용합니다. 메모리 내에서 토큰을 물리적으로 재배열하는 대신, 시스템은 동일한 키 - 값 (KV) 캐시에 대한 두 가지 구별된 '뷰'를 생성하기 위해 위치 관계를 조작합니다:

  • 작가 뷰 (Writer View): 비공개 사고가 표준 순차 방식으로 생성된 것처럼 인식하여, 모델이 추론을 기반으로 응답을 생성할 수 있게 합니다.
  • 사고자 뷰 (Thinker View): 공개 응답을 대화 기록의 일부로 인식하여, 추론 과정이 이미 말해진 내용을 인지할 수 있게 합니다.
  • 이는 어텐션 계산 중 프롬프트, 사고자, 작가 블록마다 쿼리 벡터를 다르게 회전시킴으로써 KV 캐시를 중복하지 않고도 서로 다른 상대적 위치를 시뮬레이션함으로써 달성됩니다.

• 모드 전환: 작가가 추론이 충분하기 전에 답변을 생성하는 것을 방지하기 위해, 시스템은 동적 동기화 메커니즘을 구현합니다. 주기적으로 (예: 20 토큰마다 또는 문단 경계에서) 모델은 이진 질문을 받습니다: "잠깐, 현재 내 사고가 다음 문단이나 공식을 작성하기에 충분한가? (예/아니오)."

  • 모델이 '예'라고 예측하면, 두 스트림 모두 병렬로 생성을 계속합니다.
  • '아니오'라고 예측하면, 작가 스트림은 일시 중지되고 사고자 스트림은 다음 '예' 신호가 나올 때까지 계속됩니다.
  • 이 결정은 외부 분류기나 미세 조정이 필요 없이 모델 자체의 로짓 (logits) 을 사용하여 이루어집니다.

• 구현 효율성: 이 접근법은 메모리를 연속적인 블록으로 분할하는 커스텀 KV 캐시 구조를 사용합니다. 서로 다른 뷰를 시뮬레이션하기 위해 쿼리 회전을 적용함으로써, 시스템은 불필요한 계산과 메모리 과부하를 피하여 기존 추론 프레임워크와 호환되는 효율적인 병렬 토큰 처리를 가능하게 합니다.

주요 기여

1. AsyncReasoning 프레임워크: 추론 LLM 이 비동기적으로 작동할 수 있게 하는 제로샷 (zero-shot), 모델 중립적 방법입니다. 이는 동시 사고, 청취, 작성을 가능하게 하여 고도의 추론 능력과 실시간 상호작용성 간의 간극을 해소합니다.
2. 학습 없는 적응: 특정 상호작용 수준을 위해 모델을 미세 조정하거나 새로운 '모드 전환' 헤드를 훈련해야 했던 이전 접근법과 달리, 이 방법은 추론 로직만 수정함으로써 기존 추론 모델과 즉시 호환됩니다.
3. 안전성 통합: 이 방법은 안전성 추론이 백그라운드에서 발생할 수 있음을 보여줍니다. '사고자'는 요청의 안전성을 평가하고 위험이 감지되면 '작가'를 일시 중지하여, 전체 동기식 안전성 점검의 지연 시간 패널티 없이 유해한 출력을 완화하면서 안전한 콘텐츠를 실시간으로 스트리밍할 수 있게 합니다.
4. 동적 입력 처리: 시스템은 생성 중간에 새로운 정보 (샤드) 를 KV 캐시에 주입하는 것을 지원하여, 모델이 추론 과정을 재시작하지 않고도 사용자의 명확화나 수정 사항을 반영할 수 있게 합니다.

실험 결과

저자들은 다양한 Qwen3 및 GPT-OSS 모델을 사용하여 여러 벤치마크 (MATH-500, MMLU-Pro, GPQA-Diamond, AIME-2025, ZebraLogic, SpokenMQA) 에서 AsyncReasoning 을 평가했습니다.

• 지연 시간 감소: 이 방법은 사용자가 인지하는 지연 시간을 크게 줄입니다.
  • 첫 번째 토큰 도달 시간 (TTFT): 표준 동기식 사고 기준선 대비 최대 80 배 감소.
  • 총 지연 시간: 최대 12 배 감소 (예: 첫 번째 비사고 토큰까지의 시간이 몇 분에서 5 초 이하로 단축).
• 정확도 유지: AsyncReasoning 은 완전한 동기식 추론 모델과 비교 가능한 정확도를 유지하며, 사고가 없는 기준선보다 훨씬 우수한 성능을 보입니다.
  • MATH-500 에서 이 방법은 지연 시간을 극적으로 줄이면서도 동기식 기준선과 거의 동일한 정확도를 달성했습니다.
  • 작은 모델 (예: 0.6B) 은 조기 작성 오류로 인해 일부 정확도 저하를 보였으며, 이는 더 큰 모델이 모드 전환 로직을 더 잘 관리할 수 있음을 시사합니다.
• 안전성 성능: HarmBench 데이터셋에서 안전성 프롬프트가 포함된 AsyncReasoning 은 공격 성공률 (ASR) 을 **0.5%**로 낮췄으며, 이는 동기식 안전성 추론 (0.0%) 과 비교 가능한 수준이지만, 동기식 기준선의 45.3 초 대비 총 지연 시간은 35.0 초였습니다.
• 동적 입력 처리: '샤드'된 입력 (정보가 생성 중간에 도착하는 경우) 으로 테스트했을 때, 세 개의 캐시 블록 (프롬프트, 사고자, 작가) 모두에 샤드가 주입되면 이 방법은 모든 입력이 한 번에 제공될 때의 상한선에 근접하는 정확도를 성공적으로 회복했습니다.

중요성과 주장

이 논문은 AsyncReasoning 이 재훈련이나 특수 하드웨어의 prohibitive 한 비용 없이 시간 민감적이고 상호작용적인 환경에 추론 능력을 갖춘 LLM 을 배포할 수 있는 실용적인 경로를 제공한다고 주장합니다. '사고'와 '말하기' 과정을 분리함으로써, 이 방법은 에이전트가 다음과 같은 것을 가능하게 합니다:

• 배경에서 추론을 계속하는 동안 사용자에게 실시간으로 응답.
• 이전 추론 단계를 폐기하지 않고 새로운 정보나 수정 사항에 적응.
• 생성과 병렬로 안전성 점검을 수행하여 안전성 - 지연 시간 트레이드오프 개선.

저자들은 이것이 학습 없는 솔루션이므로 기존 모델에 즉시 적용 가능하다고 강조합니다. 그들은 한계를 인정하는데, 특히 작은 모델은 모드 전환 로직에 어려움을 겪어 (조기 답변으로 이어짐) 안전성 검증에서의 레이스 컨디션이 이론적 위험으로 남아있지만, 실험에서는 드물다고 언급합니다. 이 작업은 사고와 행동이 상호 배타적인 순차적 단계가 아닌 동시 프로세스인 더 자연스럽고 인간적인 AI 상호작용을 향한 기초적인 단계로 자신을 위치시킵니다.