기술 요약: 장기적 웹 에이전트를 위한 신호 기반 관찰 (Signal-Driven Observation)

1. 문제 정의: 관찰 과잉 섭취 (Observation Over-Ingestion)

본 논문은 현재의 장기적(long-horizon) 웹 에이전트에서 발생하는 결정적인 구조적 결함인 **관찰 과잉 섭취(observation over-ingestion)**를 식별한다. 커뮤니티는 흔-히 에이전트의 실패(루프에 빠지거나, 목표를 놓치거나, "컨텍스트 부패" 현상 등)를 컨텍스트 길이의 제한 때문이라고 돌리곤 하지만, 저자들은 그 근본 원인이 관찰 빈도와 행동 빈도의 결합에 있다고 주장한다.

표준 아키텍처에서는 매 행동 단계마다 에이전트가 (종종 20,000~80,000 토큰에 달하는) 가공되지 않은 DOM 또는 접근성 트리(accessibility tree)와 전체 상호작용 이력을 함께 섭취한다. 이는 페이지가 의미 있게 변했는지 여부와 상관없이 LLM이 전체 페이지 상태를 다시 읽도록 강제한다. 저자들은 이것이 용량의 문제가 아니라 관찰의 문제라고 단언한다:

• 컨텍스트 부패 (Context Rot): 무관한 토큰들이 축적되어 추론 품질을 저하시킨다.
• 루프 트랩 (Loop-Trapping): 비대해진 컨텍스트로 인해 모델이 이전에 방문했던 상태를 인식하지 못하게 된다.
• 목표 표류 (Goal Drift): 원래의 작업 목표가 DOM 노이즈 아래에 파묻혀, 에이전트가 잘못된 부차적 목표를 추구하게 만든다.

이러한 실패 양상은 다양한 크기의 모델 전반에서 재현 가능하며, 에이전트가 왜 실패했는지(즉, 변경되지 않은 페이지를 재섭취했다는 점)를 기록하지 않고 단순히 실패 사실만을 기록하는 표준 터미널 성공 지표에서는 보이지 않는 문제이다.

2. 방법론: 신호 기반 관찰 (Signal-Driven Observation, SDO)

문서를 프로그래밍 방식으로 쿼리하여 통째로 읽는 대신 사용하는 **재귀적 언어 모델(Recursive Language Models, RLMs)**의 통찰을 바탕으로, 본 논문은 **신호 기반 관찰(SDO)**을 제안한다. 이 아키텍처는 관찰의 빈도를 행동의 빈도로부터 분리한다.

핵심 구성 요소

SDO 시스템은 네 가지 별도의 구성 요소를 통해 작동한다:

1. Root LM: 작업 명세($T$), 행동 이력($H$), 그리고 압축된 관찰값($O_1, O_2, \dots$)의 시퀀스를 유지한다. 이 모델은 제한된 컨텍스트를 바탕으로 행동 시퀀스를 계획하며, 새로운 관찰이 도착했을 때만 재계획을 수행한다. 결정적으로, 이 모델은 가공되지 않은 DOM을 절대 읽지 않는다.
2. Sub RLM: 오직 DOM 관찰만을 담당하는 전용 서브 호출(동일한 모델이거나 더 작은 모델임)이다. 현재 페이지와 작업 $T$가 주어지면, 전체 접근성 트리를 읽고 **작업 조건부 요약(task-conditioned summary)**을 반환한다. 이는 해당 요소의 목적, 유형, 값 및 셀렉터를 포함하여 현재 작업과 관련된 요소들만을 구조화된 리스트 형태로 담고 있다.
3. Signal Detector (신호 탐지기): 매 브라우저 행동 후에 실행되는, LLM 비용이 들지 않는 경량 모듈이다. 이 모듈은 네 가지 브라우저 네이티브 조건을 모니터링하여 재관찰이 필요한지 결정한다:
   • URL 전환 (URL Transition): 새로운 주소로의 네비게이션.
   • 새로운 ARIA 요소 (New ARIA Element): 새로운 상호작용 요소(예: 모달, 드롭다운)의 등장.
   • 행동 실패 (Action Failure): 예외, 타임아웃 또는 사용 불가능한 요소.
   • 외생적 이벤트 (Exogenous Event): 에이전트에 의해 발생하지 않은 DOM 변이(예: 쿠키 배너, AJAX 업데이트, 세션 만료).
4. Browser (브라우저): Playwright를 통해 행동 시퀀스를 실행한다. 각 행동 후에는 Signal Detector로 제어권이 넘어간다.

운영 루프

1. 초기화: 초기 페이지 로드는 Sub RLM을 트리거하여 $O_1$을 생성한다.
2. 실행: Root LM은 행동 시퀀스를 계획한다.
3. 신호 체크: 각 행동 후, Signal Detector가 네 가지 조건을 확인한다.
   • 신호 없음 (No Signal): LLM 호출이나 DOM 읽기 없이 다음 행동이 즉시 실행된다.
   • 신호 발생 (Signal Fires): Sub RLM이 호출되어 새로운 압축된 관찰값($O_{t+1}$)을 생성한다. Root LM은 업데이트된 상태를 전달받고 재계획을 수행한다.

사례 연구 예시

본 논문은 e-커머스 구매 작업을 추적하여 표준 에이전트와 SDO 에이전트를 대조한다:

• 표준 에이전트: 매 단계에서 전체 DOM 스냅샷을 섭취한다. 쿠키 배너가 나타날 때(외생적 이벤트), 에이전트의 컨텍스트는 이미 무관한 토큰들에 의해 저하되어 있으며, 이로 인해 상태를 오해하고 상품을 장바구니에 담는 데 실패하여 결국 목표 표류로 이어진다.
• SDO 에이전트: Root LM은 압축되고 관련 있는 요소들만 본다. 쿠키 배너가 나타나면, Signal Detector가 재관찰을 트리거한다. Sub RLM은 배너를 방해 요소로 표시한다. 깨끗한 컨텍스트에서 작동하는 Root LM은 배너를 닫고 진행하도록 올바르게 계획하며, 전 과정에서 작업 일관성을 유지한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 한다:

1. 실패 양상의 정의: 관찰이 단순한 컨텍스트 길이 고갈의 문제가 아니라, 컨텍스트 부패, 루프 트랩, 목표 표류를 유발하는 별개의 재현 가능한 실패 메커니즘인 관찰 과잉 섭취임을 공식적으로 정의한다.
2. 아키텍처 제안: 관찰 빈도를 행동 빈도로부터 분리할 수 있음을 보여주는 구체적인 인스턴스로서, 신호 탐지기와 집중된 서브 호출을 활용하는 **신호 기반 관찰(SDO)**을 스케치한다.
3. 커뮤니티 행동 촉구: 열려 있는 설계 질문들을 식별하고, 커뮤니티가 관찰 압축을 사후 최적화가 아닌 일급 아키텍처 결정으로 다룰 것을 촉구한다.

4. 결과 및 한계

본 논문은 실험적 결과를 포함하지 않는다는 점을 명시적으로 밝힌다. 이는 접근 방식의 타당성을 입증하고 열린 문제를 제기하기 위한 개념적 프레임워크이자 "스케치"이다.

저자들은 SDO를 신뢰성 있게 구현하기 전에 해결해야 할 몇 가지 한계와 미결 과제를 인정한다:

• 신호 완결성 vs 비용: 정의된 네 가지 신호가 미묘한 상태 변화(예: 조용한 가격 업데이트)를 놓칠 수 있으며, 신호를 추가할수록 Sub RLM 호출 빈도가 높아져 효율성이 떨어질 수 있다.
• 필터링 충실도 (Filtering Fidelity): Sub RLM은 Root LM의 미래 요구사항을 알지 못한 채 작업 관련 요소를 정확하게 필터링해야 한다. 과도한 필터링은 정보 손실을 초고하며, 부족한 필터링은 압축의 이점을 줄인다.
• 의미론적 오류 (Semantic Errors): SDO는 구조적 변화는 감지하지만, 의미론적 오류(예: 성공적으로 실행되지만 잘못된 카테고리를 선택하는 경우)는 감지하지 못한다.
• 시뮬레이션 vs 실제 웹 간의 격차: 시뮬레이션 벤치마크에는 외생적 이벤트(쿠키 배너 등)가 없으므로, 시뮬레이션에서 학습된 에이전트는 SDO 아키텍처가 이를 감지하더라도 이러한 방해로부터 회복하는 법을 배우지 못할 수 있다.
• 평가 지표: 현재의 벤치마크에는 관찰 수준의 평가(예: "필요할 때 관찰이 신선했는가?")가 부족하다. 압축이 단순히 토큰 수를 줄이는 것을 넘어 어떻게 실패를 방지하는지 측정하기 위한 새로운 지표가 필요하다.
• 이력 관리 (History Management): 매우 긴 호흡의 작업에서 누적된 압축된 관찰 리스트 자체가 여전히 커질 수 있으며, 이는 다시 컨텍스트 관리 문제를 야기할 수 있다.

5. 의의 및 주장

본 논문은 커뮤니티가 관찰에 대해 어떻게 추론할 것인가에 크게 투자해 온 반면, 에이전트가 매 단계에서 전체 상태를 관찰해야 하는가에 대해서는 소홀했다고 주장한다.

이 연구의 의의는 관찰 압축을 사후에 해결해야 할 데이터 볼륨 문제가 아니라, 첫 번째 행동을 취하기 전의 구조적, 아키텍처적 결정으로 재정의했다는 점에 있다. 저자들은 관찰을 행동으로부터 분리함으로써, 예상치 못한 환경적 복잡함 속에서도 Root LM이 올바르게 추론할 수 있는 조건을 유지할 수 있다고 주장한다. 그들은 SDO를 완성된 시스템이 아니라, 현재 웹 에이전트 설계의 "아키텍처적 실수"를 해결하기 위한 필수적인 방향으로 제시한다.