기술 요약: 통합 에이전트(Unified Agent) – 기기 간 상호작용 관리

1. 문제 정의

본 논문은 단일 AI 에이전트가 시간의 흐름에 따라 여러 이종 기기(heterogeneous devices)를 가로질러 사용자의 작업을 관리할 수 있도록 하는 과제를 다룹니다. 현재의 주류 에이전트 시스템은 이 시나리오에서 결정적인 한계에 직면해 있습니다: 관찰 데이터가 여러 기기와 시점에 흩어져 있으며, 기존 아키텍처는 이러한 분산된 데이터를 효과적으로 처리하도록 설계되지 않았습니다.

• 핵심 과제: 사용자가 나중에 (예: "내가 보고 있던 식당 예약해줘") 특정 기기를 명시하지 않고 요청을 할 때, 이전 상호작용에서 발생했던 결정적인 단서들(예: 시선, 가리키기, 화면 참여 등)은 더 이상 보이지 않을 수 있습니다.
• 기존 접근 방식의 한계:
  • 무상태/단일 에이전트 시스템(Stateless/Single-Agent Systems): 기기를 도구로 취급하지만, 효과적인 교차 시간(cross-time) 상태 관리가 부족합니다. 일단 단서가 지나가면 관련 증거가 소실되어, 에이전트는 명확한 질문(예: "어떤 기기에서 보셨나요?")을 던져야만 합니다.
  • 멀티 에이전트 시스템(Multi-Agent Systems): 여러 에이전트 간에 협업하지만, 기기 및 시간 간의 요청을 처리하는 데 필요한 "압축된 운반 상태(compact carried state)"를 유지하는 데 실패하는 경우가 많습니다. 이들은 축적된 참여 증거를 바탕으로 타겟을 결정하기보다, 현재의 요청이나 정적인 엔드포인트를 기준으로 타겟을 해결하려 합니다.
• 목표: 에이전트는 참여 증거, 진술된 사실, 그리고 대기 중인 요청을 기기와 시간의 제약을 넘어 통합하는 잘 조직된 상태를 유지해야 하며, 이를 통해 원래의 단서가 사라진 후에도 기기가 지정되지 않은 요청에 대해 행동할 수 있어야 합니다.

2. 방법론: 통합 에이전트 (Unified Agent)

저자들은 기기와 시점을 가로질러 상호작용 증거를 운반하도록 설계된 상태 유지형 에이전트 아키텍처인 Unified Agent를 제안합니다.

2.1 운반되는 상태 ($S_t$)

원시 기록(raw history)을 그대로 보유하여 컨텍스트 윈도우 공간을 점유하며 선형적으로 증가하는 시스템과 달리, Unified Agent는 매 순간 $t$마다 업데이트되는 압축되고 실행 가능한 상태($S_t$)를 유지합니다. 이 상태는 세 가지 뚜렷한 스트림으로 구성됩니다:

1. 참여 증거 (Engagement Evidence): 관련 기기를 식별하는 데 도움을 주기 위해 기기와 연관된 상호작용 단서(예: 가리키기, 시선, 손 접촉)를 시간에 따라 축적합니다.
2. 진술된 사실 (Stated Facts): 주제별로, 그리고 식별 가능한 경우 기기별로 사용자가 제공한 정보를 보존합니다. 이를 통해 사실 관계가 서로 다른 기기 간에도 구분될 수 있도록 합니다.
3. 대기 중인 요청 (Standing Request): 최신의 요청된 동작을 유지합니다.

2.2 인지-폴딩-실행(Perceive–Fold–Act) 파이프라인

에이전트는 연속적인 루프(그림 3)를 통해 작동합니다:

1. 관찰 (Observe): 에이전트는 기기의 카메라로부터 로컬 관찰값($O_t$)과 사용자의 현재 발화(utterance)를 전달받습니다.
2. 업데이트 (Fold): 에이전트는 현재의 관찰값을 이전 상태($S_{t-1}$)에 폴딩(fold)하여 업데이트된 상태($S_t = U(S_{t-1}, O_t)$)를 생성합니다. 이 과정은 전체 대화 내용을 저장하는 대신 증거를 축적하고, 사실을 기록하며, 대기 중인 요청을 업데이트합니다.
3. 실행 (Act): 에이전트는 업데이트된 상태($S_t$)와 현재 관찰값($O_t$)을 모두 읽어 다음 동작($a_t$)을 결정합니다 ($a_t = D(S_t, O_t)$).
   • 상태(State)는 역사적 맥락(예: 어떤 기기에서 가장 강력한 참여가 있었는지)을 제공합니다.
   • 관찰(Observation)은 즉각적인 맥락을 제공합니다.
   • 에이전트는 이 결합된 입력을 사용하여 의도를 추론하고, 관련 사실을 회상하며, 공유 언어 인터페이스를 통해 적절한 기기(들)로 요청을 라우팅합니다.

3. 벤치마크: UA-BENCH

상태 설계를 평가하기 위해 저자들은 교차 기기 상호작용을 위한 재현 가능한 벤치마크인 UA-BENCH를 구축했습니다.

• 환경: 컴퓨터, 노트북, 스마트폰 등의 스크린 기기와 잠재적인 페치 로봇(fetch robot)이 포함된 렌더링된 3D 홈 장면입니다.
• 구조: 에피소드는 설계된 시간적 진행 과정을 따릅니다:
  1. 초기 관찰을 통해 장면을 설정합니다.
  2. 이전의 상호작용을 통해 시각적/언어적 단서로 사용자-기기 간의 참여를 설정합니다.
  3. 이후의 기기가 지정되지 않은 요청과 회상 질문을 통해, 즉각적인 시각적 증거가 변경되었을 때 시스템이 정보를 검색할 수 있는지 테스트합니다.
• 정답 (Ground Truth): 평가 대상은 모델이 생성한 주석이 아니라 통제된 에피소드 명세로부터 직접 유도되며, 이를 통해 객체 식별, 가시성, 스크린 상태에 대한 정확한 정답을 보장합니다.
• 태스크: 벤치마크는 여섯 가지 태스크를 평가합니다: 사용자/기기 탐지(Detect), 참여 기기 식별(Eng), 의도 추론(Int), 정보 회상(Inf), 응답 기기 선택(Rsp), 다음 동작 결정(Nxt).

4. 실험 결과

저자들은 네 가지 멀티모달 거대 언어 모델(MLLM) 설정에 걸쳐 Unified Agent를 상태 제어 모델(예: Full Context, Self-notes) 및 발표된 베이스라인(예: Mixture-of-Agents, Mem0, MM-DST)과 비교 평가했습니다.

4.1 성능 비교

• 전반적인 우수성: Unified Agent는 기본 설정(GPT-5.6-Luna, 낮은 추론 노력)에서 모든 비교 시스템을 크게 앞질렀으며, 차순위 모델(Full Context, 0.613)보다 높은 0.668의 종합 점수를 달주성했습니다.
• 특정 이점: 가장 큰 이점은 **다음 동작(Nxt)**과 **회상(Inf)**에서 관찰되었습니다. 다른 시스템들이 단서가 제거되었을 때 성능이 급격히 하락한 반면, Unified Agent는 성능을 안정적으로 유지했습니다.
• 효율성: 모든 원시 기록을 유지하는 "Full Context"도 준수한 성능을 보였으나, 상태 크기가 선형적으로 증가하여 Unified Agent 상태의 11배에 달했습니다. Unified Agent의 상태는 상호작용 길이에 따라 확장되는 것이 아니라, 관찰된 기기와 사실의 수에 따라 **유계(bounded)**된 크기를 유지했습니다.

4.2 절제 연구 (Ablation Studies)

저자들은 각 요소의 기여도를 이해하기 위해 핵심 설계 요소를 테스트했습니다:

• 참여 증거 (Engagement Evidence): 카운팅이나 가리키기 단서를 제거하면 참여 기기를 식별하는(Eng) 능력이 크게 저하되었습니다.
• 이전 상태 (Prior State): 이전 상태를 제거하면 정보를 회상하는(Inf) 능력이 크게 저하되었습니다.
• 기기 능력 (Device Abilities): 기기별 능력 절을 제거하면 라우팅 결정(Rsp) 능력이 저하되었습니다.
• 결론: 서로 다른 태스크에는 서로 다른 정보 스트림이 필요하며, 통합된 상태는 이러한 보완적 역할을 효과적으로 통합합니다.

4.3 일반화 및 실세계 검증

• MLLM 강건성: Unified Agent의 성능 우위는 다양한 MLLM 제품군(Gemini 3.1 Flash-Lite, GPT-5.6-Luna, GPT-5.6-Sol)과 다양한 추론 노력 수준에서도 지속되었습니다.
• 실제 사진: 사용자가 노트북, 태블릿, 스마트폰과 상호작용하는 실제 사진을 사용한 사례 연구에서, Unified Agent는 가장 강력한 참여가 누적된 기기를 성공적으로 식별하였고, "내가 작업하던 식당"에 대한 올바른 시간을 회상해냈습니다. 이는 해당 기기 특유의 사실을 회상하는 데 실패한 베이스라인 모델들과 대조적입니다.

5. 주요 기여

1. 문제 정의: 단서가 사라지는 시간 및 기기 간의 사용자-에이전트 상호작용이라는 구체적인 과제를 정의했습니다.
2. 통합 에이전트 (Unified Agent): 참여 증거, 진술된 사실, 대기 중인 요청의 압축된 상태를 유지하며, 이 상태와 현재 관찰값을 바탕으로 행동하는 상태 유지형 에이전트를 도입했습니다.
3. UA-BENCH: 교차 기기, 교차 시간 상호작용을 평가하기 위한 정확한 정답을 갖춘 벤치마크를 구축했습니다.
4. 경험적 검증: 잘 설계된 상태 아키텍처가 기존의 설계 및 메모리 베이스라인보다 성능이 뛰어남을 입증했으며, 다양한 MLLM 설정에서 강건함을 보여주었습니다.

6. 의의 및 주장

본 논문은 Unified Agent의 주요 장점이 시스템의 복잡성이나 학습된 메모리 메커즘을 추가한 것이 아니라, 상태가 어떻게 표현되고 사용되는가에서 비롯된다고 주장합니다.

• 보완재로서의 상태 설계: 연구 결과는 효과적인 상태 설계가 교차 기기 에이전트를 위한 모델의 강점과 결합될 때 중요한 보완재가 된다는 점을 강조합니다.
• 실행 가능한 요약 (Action-Ready Summary): 증거를 압축되고 실행 가능한 형태로 정리함으로써, 에이전트는 원래의 시각적 단서가 사라진 후에도 사용자에게 확인 질문을 던질 필요 없이 참조(예: "내가 보고 있던 식당")를 해결할 수 있습니다.
• 개인정보 보호 및 효율성: 이 설계는 원시 기록을 유지하는 방식에 비해 개인정보 보호에 유리한 대안을 제공합니다. 전체 상호작용 기록 대신 참여와 사실에 대한 명시적이고 압축된 기록을 유지함으로써, 시스템은 검사 및 수정이 가능하면서도 데이터 보유를 최소화합니다.

저자들은 Unified-Agent가 유계되고 구조화된 상태를 유지함으로써 에이전트가 기기와 시간을 가로질러 효과적으로 상호작용을 관리할 수 있음을 보여주며, 이는 현재의 주류 에이전트 시스템이 가진 공백을 해결한다고 결론짓습니다.