기술 요약: 참여 과정 (EP)

문제 정의

대규모 언어 모델 (LLM), 구체화된 지능 (embodied intelligence), 도구 증강 에이전트의 최근 발전은 점점 더 현실적인 디지털 및 물리적 환경에서의 운영을 가능하게 했습니다. 그러나 이러한 설정에서 행동과 관측의 시간적 구조 사이에는 근본적인 불일치가 존재합니다. 부분 관측 가능 마르코프 결정 과정 (POMDP) 과 같은 전통적인 상호작용 형식주의는 관측이 단일 순간 행동과 짝지어지는 고정된 결정 시점에 의존합니다. 실제로 에이전트는 종종 다음과 같은 상황에 직면합니다:

• 행동 측면의 타이밍 문제: 숙고 지연 (예: LLM 추론 시간), 지속적 행동 (예: 항해 명령), 그리고 지연된 결과를 수반하는 도구 호출.
• 관측 측면의 타이밍 문제: 메시지, 경보, 도구 응답의 비동기적 또는 희소하게 도착하는 현상과 함께 연속적이거나 다중 속도의 센서 피드백.

현재 접근법들은 이러한 타이밍 현상을 구현 세부 사항으로 간주하거나 고정된 폴링 간격이나 수동으로 제작된 중단 규칙과 같은 외부 패치를 통해 처리합니다. 이는 에이전트가 명시적인 시간 비용에 따라 행동을 적응시키는 데 필요한 시간적 구조를 흐리게 하여, 과도한 숙고, 긴급 사건의 놓침, 또는 진행 중인 프로세스의 효과적인 중단 실패로 이어질 수 있는 비최적의 정책을 초래합니다.

방법론: 참여 과정 (EP)

저자들은 POMDP 의 결정 이론적 구조를 계승하지만 시간 인터페이스를 근본적으로 재고찰하는 새로운 상호작용 형식주의인 **참여 과정 (EP)**을 제안합니다.

핵심 정의

EP 는 이산적인 틱 (tick) 시퀀스 $T = \{0, 1, 2, \dots\}$ (연속 시간으로 확장 가능) 위에 정의되며 $E = (S, A, Y, F, O, U)$로 명시됩니다:

• 상태 ($S$): 환경, 진행 중인 프로세스, 인터페이스 조건을 요약합니다. 이는 지속적 행동의 효과와 상태 의존적 관측 접근을 인코딩할 수 있습니다.
• 개입으로서의 행동: 모든 틱에서 기본 제어가 되는 행동으로 간주되는 표준 POMDP 와 달리, EP 는 행동을 시간이 지정된 개입으로 취급합니다. 에이전트는 개입 집합 $A_t \subseteq A$를 선택합니다 (이는 비어 있거나 여러 개의 동시 원자적 행동을 포함할 수 있음).
• 이벤트로서의 관측: 관측은 결정 단계와 독립적으로 상태 프로세스에서 정보 이벤트 $Y_t \subseteq Y$로 생성됩니다. 이는 비동기적으로 도착하거나 비어 있거나 여러 이벤트를 포함할 수 있습니다.
• 동역학: 상태는 $s_{t+1} \sim F(\cdot | s_t, A_t)$로 진화합니다. 중요한 점은 $A_t = \emptyset$일 때도 시스템이 진화하여 지속적 프로세스의 모델링을 가능하게 한다는 것입니다.
• 유틸리티: 순간 유틸리티 $u_t$는 작업 보상뿐만 아니라 행동 실행, 감지, 중단, 숙고 시간에 대한 비용을 나타낼 수 있습니다.

주요 차이점

• 분리 (Decoupling): EP 는 에이전트의 내부 결정 프로세스를 관측 및 개입의 외부 타이밍과 분리합니다. 에이전트는 개입 집합과 관측 이벤트 집합의 이력을 기반으로 정보 상태 $w_t$를 유지하여 대기 중인 계산, 도구 호출, 기한을 추적할 수 있게 합니다.
• 구성적 재사용: 인터페이스는 계층적 조직을 지원합니다. 에이전트 내의 하위 시스템 자체를 EP 와 유사한 프로세스로 모델링할 수 있으며, 여기서 모듈 호출은 개입이 되고 반환된 메시지는 관측이 되어 모두 동일한 추상 인터페이스를 공유합니다.
• 기존 모델과의 관계:
  • POMDP: 매 틱마다 정확히 하나의 행동과 하나의 관측이 있는 동기화된 특수 사례로 복원됩니다.
  • SMDP/옵션: 개입이 상태 내에서 '활성' 구성 요소를 생성하는 제한된 EP 로 표현되지만, EP 는 이러한 옵션의 실행이 종료될 때뿐만 아니라 실행 중에도 관측이 인터페이스에 들어오도록 허용합니다.

주요 기여

1. 명시적 시간 인터페이스: EP 는 종종 별도로 처리되거나 상태 설계에 숨겨지는 타이밍 현상 (숙고 지연, 지연된 피드백, 지속적 행동, 중단, 다중 속도 관측) 을 위한 통합 언어를 제공합니다.
2. 관심사의 분리: 외부 행동 - 관측 인터페이스를 에이전트의 내부 조직과 분리하여 서로 다른 주파수로 작동하는 구성 요소 (예: 고수준 계획자 대 저수준 제어기) 가 공유 타임라인에서 조정할 수 있게 합니다.
3. 통합 형식주의: 에이전트 - 환경 상호작용과 내부 모듈 - 모듈 상호작용 모두에 대한 동질적인 인터페이스를 제공하여 각 경계를 위한 별도의 인터페이스가 필요하지 않은 구성적 설계를 용이하게 합니다.

실험 결과

저자들은 세 가지 설정에서 EP 를 평가했습니다:

1. 토이 실험

• 긴급성 인식 숙고: 추론 정확도가 시간이 지남에 따라 향상되지만 기한을 소모하는 작업에서 EP 로 훈련된 정책은 계산 깊이와 긴급성 사이의 균형을 학습합니다. 반면, 단계별 훈련 정책 (숙고를 순간적인 것으로 간주) 은 가장 느리고 정확한 모드를 과도하게 사용하여 높은 시간 초과율을 초래합니다 (단일 작업 설정에서 EP 대비 79.0% 대 0.0%).
• 중단 기능이 있는 계층적 순찰: 비동기 경보가 있는 순찰 작업에서 EP 는 에이전트가 경보 도착 시 즉시 진행 중인 항해 또는 처리 루틴을 중단할 수 있게 합니다.
  • 모듈 수준: EP 는 모듈 경계에서만 결정하는 기준선 대비 90.9% 의 경보를 해결합니다 (기준선은 51.5%).
  • 상태 수준: EP 는 긴급성, 거리, 단계 진행, 중단 비용 간의 트레이드오프를 학습하여 수동 제작 패치 및 경계 기반 기준선을 능가하며, 훨씬 더 높은 수익과 더 낮은 만료율을 달성합니다.

2. LLM 기반 실험

• 디지털 어시스턴트 (비동기 이메일): 에이전트는 시간 민감성 이메일을 처리하면서 주요 작업을 완료해야 합니다.
  • EP는 주요 작업 생성을 중단 가능한 행동으로 취급하여 에이전트가 도착하는 대로 이메일을 분류 (트라이지) 할 수 있게 합니다.
  • 기준선: AgentLoop(동기화) 는 많은 기한을 놓치고, Periodic Poll은 개선되었으나 고정 간격에 제한을 받습니다.
  • 결과: EP 는 가장 높은 유틸리티와 균형 잡힌 점수를 달성하며, AgentLoop 대비 이메일 시간 초과율을 약 40% 감소시키고 첫 응답 지연 시간을 거의 절반으로 줄입니다.
• 구체화된 일정 관리: 에이전트는 튜터링과 요리 프로세스를 조정합니다.
  • EP는 튜터링 중에도 요리 신호를 즉시 노출시켜 에이전트가 중단, 연기, 계속 중단을 결정할 수 있게 합니다.
  • 결과: EP 는 가장 높은 유틸리티와 주요 요리 성공률을 달성하며, 폴링 기반 및 엔진 측 반사적 기준선을 능가합니다. 특히 겹치는 기한이 있는 다중 요리 시나리오에서 두드러집니다.

3. 시간 인식 LLM 훈련

• 저자들은 명시적인 토큰 예산과 긴급성 지시를 포함하는 수학 문제로 추론 모델 (Qwen3-8B) 을 훈련시켰습니다.
• EP 인식 훈련: 보상은 정답이 맞고 동시에 토큰 예산 내에 있을 때만 부여됩니다.
• 결과: EP 인식 모델은 예산에 맞게 생성 길이를 적응합니다 (예: 1k 예산에 대해 약 420 토큰 생성 vs 8k 예산에 대해 약 1400 토큰 생성). 반면, 정답성만 고려한 RL 모델 (RLVR) 은 정확도를 향상시키지만 예산을 준수하지 못해 종종 허용된 것보다 훨씬 많은 토큰을 생성합니다.

중요성과 주장

이 논문은 참여 과정 (EP) 이 증강 POMDP 보다 더 큰 상태 공간 표현력을 추구하지 않는다고 주장합니다. 대신, 그 주요 기여는 공유 타임라인에서 행동과 관측을 분리하는 명시적 시간 인터페이스입니다.

• 소극적 범위: EP 는 특정 에이전트 아키텍처나 학습 알고리즘이 아닌 상호작용 형식주의로 제시됩니다. 메모리 관리, 스케줄링, 정책 학습은 이를 기반으로 구축된 시스템에 맡깁니다.
• 핵심 가치: 인터페이스에서 시간을 명시적으로 함으로써 EP 는 종종 단계 기반 형식주의에 숨겨지는 시간적 구조 (예: 숙고 지연 및 비동기 피드백) 를 노출합니다. 이는 에이전트가 명시적인 시간 비용에 적응하고, 중단에 더 유연하게 대응하며, 외부 패치나 경직된 폴링 일정에 의존하지 않고 이질적인 시간 동역학을 가진 하위 시스템을 구성할 수 있게 합니다.
• 향후 작업: 저자들은 EP 인식 아키텍처, 더 풍부한 연속 시간 형식주의, 그리고 구체화된, 계층적, 다중 에이전트 설정에서의 대규모 평가 등을 향후 방향으로 제안합니다.