🤖 AI

Do Proactive Agents Really Need an LLM to Decide When to Wake and What to Anchor?

본 논문은 LLM 기반 의사결정을 위해 구조화된 사용자 활동 이벤트를 텍스트로 변환하는 비효율적인 관행을 경량 온디바이스 시계열 그래프 학습 모델로 대체하여 그래프 업데이트를 직접 처리하고 능동적 에이전트를 트리거함으로써 훨씬 높은 정확도, 빠른 추론 속도, 그리고 더 작은 메모리 사용량을 달성하는 것을 제안한다.

원저자: Xiaoze Liu, Ruowang Zhang, Amir H. Abdi, Michel Galley, Zhikai Chen, Siheng Xiong, Xiaoqian Wang, Jing Gao

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaoze Liu, Ruowang Zhang, Amir H. Abdi, Michel Galley, Zhikai Chen, Siheng Xiong, Xiaoqian Wang, Jing Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 안에 살면서 '적극적'으로 행동하는 초지능 디지털 비서를 상상해 보세요. 즉, 당신이 요청하기 전에 무엇을 필요로 할지 미리 추측해야 합니다. 하지만 함정이 하나 있습니다. 이 비서가 너무 수다스럽다면 성가시게 되고, 너무 조용하다면 쓸모가 없어집니다.

이 논문은 단순한 질문을 던집니다: 언제 깨어날지, 그리고 무엇을 말할지 결정하기 위해 거대하고 비싼 두뇌 (대규모 언어 모델 또는 LLM) 가 정말 필요한가요?

저자들은 답을 아니오라고 합니다. 사실, 이 일을 위해 거대한 두뇌를 사용하는 것은 현관문이 잠겼는지 확인하기 위해 슈퍼컴퓨터를 사용하는 것과 같습니다. 이는 과도한 조치일 뿐만 아니라 느리고 낭비적입니다.

다음은 그들의 해결책을 간단한 비유로 풀어낸 내용입니다:

1. 문제: '상시 작동'하는 거인

현재의 적극적 비서들은 다음과 같이 작동합니다:

상황: 당신이 파일을 클릭하거나, 창을 전환하거나, 검색어를 입력합니다.
구식 방식: 당신이 이 작업을 할 때마다 시스템은 당신의 행동을 가져와 문장으로 변환합니다 (예: "사용자가 email_filter.py 를 열었습니다"). 그런 다음 거대한 AI(LLM) 에게 묻습니다: "이제 사용자를 방해해야 할까요? 그리고 무엇을 말해야 할까요?"
결함: 이는 느리고 비용이 많이 듭니다. 부엌 불을 켤지 말지 결정하기 위해 유명 영화 감독을 고용하는 것과 같습니다. 시간이 너무 오래 걸리고 비용이 너무 많이 들며, 감독은 24 시간 내내 조명 스위치를 지켜볼 만큼 바쁩니다.

2. 해결책: '그래프 탐정'

저자들은 다른 접근법을 제안합니다. 그들은 당신의 컴퓨터 활동이 사실은 이야기가 아니라 지도라는 점을 깨달았습니다.

지도: 당신이 작업할 때, 당신은 특정 지점들 사이를 이동합니다: 파일, 앱, 웹사이트, 그리고 검색어. 이 지점들은 시간으로 연결되어 있습니다.
탐정: 거대한 AI 대신 그들은 작고 전문화된 '탐정'(시계열 그래프 학습 모델) 을 사용합니다. 이 탐정은 당신의 활동 지도를 살펴봅니다.
- 결정 1 (깨우는 신호): 탐정은 지도를 보며 묻습니다, "이 순간은 사용자가 도움이 필요한 때인가?" 만약 그렇다면 종을 울립니다. 아니라면 침묵합니다.
- 결정 2 (앵커): 종을 울리면, 탐정은 지도에서 중요한 특정 지점을 가리킵니다 (예: "전체 앱이 아니라 이 특정 파일에 관한 것입니다").

3. 마법 같은 트릭: 한 번의 통과, 두 가지 답변

가장 멋진 부분은 이 방식의 효율성입니다.

구식 방식: 거대한 AI 는 전체 이야기를 읽고, 타이밍을 고민한 다음에 내용을 생각해야 했습니다.
신식 방식: 작은 탐정은 지도를 한 번 봅니다. 그 단일한 순간에 **'일어나라!'**와 **'이 파일을 보라!'**라는 두 가지 결정을 내립니다.
결과: 이는 놀라울 정도로 빠릅니다 (약 11 밀리초) 그리고 노트북을 느리게 하지 않고도 실행될 만큼 작습니다.

4. '거대한 두뇌'는 승진이 아닌 새로운 직무를 얻습니다

저자들은 거대한 AI(LLM) 를 없애는 것이 아닙니다. 단지 그에게 더 나은 일을 맡기는 것입니다.

탐정의 직무: 지루하고 지속적인 감시를 수행합니다. 언제 말해야 할지, 그리고 무엇을 가리켜야 할지 결정합니다.
거대한 AI 의 직무: 탐정이 종을 울릴 때만 깨어납니다. 그 직무는 탐정이 가리킨 특정 파일이나 링크를 가져와 당신을 위한 정중하고 도움이 되는 문장으로 변환하는 것입니다.

결과: 왜 이것이 중요한가

이 논문은 14 가지 유형의 '거대한 두뇌'(작은 오픈소스 모델부터 거대한 상용 모델까지) 를 대상으로 이를 테스트했습니다.

더 나은 정확도: 시스템은 실수를 줄였습니다. 방해해서는 안 될 때 방해하지 않았고, 방해해야 할 때는 더 나은 제안을 했습니다.
속도: 거대한 AI 가 결정을 내리는 것보다 4 배에서 80 배까지 빨랐습니다.
개인정보 보호: '탐정'이 매우 작기 때문에 완전히 당신의 컴퓨터 자체에서 실행될 수 있습니다. 결정을 내리기 위해 개인 파일 이름이나 검색 기록을 클라우드로 전송할 필요가 없습니다.

결론

이 논문은 적극적 에이전트가 '견과류를 깨는' 것 (언제 방해할지 결정하는 것) 에 '구슬망치'(거대한 LLM) 를 사용해서는 안 된다고 주장합니다. 대신, 모니터링과 결정을 위한 무거운 작업을 수행하는 작고 전문화된 도구 (그래프 모델) 를 사용하고, 정말로 필요할 때만 큰 무기를 소집해야 합니다. 이렇게 하면 비서가 더 빠르고, 저렴하며, 덜 성가시게 됩니다.

기술 요약: 능동적 에이전트와 시계열 그래프 학습

문제 제기
현재의 능동적 에이전트 아키텍처는 개입 시기 (트리거링) 와 제공할 컨텍스트 (라우팅) 에 관한 "상시 작동 (always-on)" 결정을 내리기 위해 대규모 언어 모델 (LLM) 에 의존합니다. 이 접근 방식은 두 가지 치명적인 비효율성에 직면해 있습니다:

비싸고 느린 트리거링: 모든 사용자 이벤트 (예: 파일 열기, 앱 전환) 에 대해 대규모 LLM 을 실행하는 것은 트리거 결정이 시스템의 임계 경로에 있기 때문에 상당한 지연 시간과 계산 병목 현상을 초래합니다.
근거 없는 제안: LLM 기반 트리거가 발동될 때, 생성된 제안은 종종 특정 사용자 산출물에 대한 근거가 부족합니다. 트리거와 컨텍스트 선택이 종종 별개의 단계이기 때문에, 개입은 사용자가 적극적으로 조작하는 특정 개체보다는 일반적인 세션 주제를 기본값으로 삼을 수 있습니다.

핵심 문제는 데이터 표현의 불일치에 있습니다: 사용자 활동은 운영체제가 그래프로 유지하는 구조화된 이벤트 스트림 (주체, 동사, 목적어, 타임스탬프) 이 본질적입니다. 이 구조를 텍스트로 변환하고 LLM 에게 구조를 복원하도록 요청하는 것은 교차 이벤트 개체 연결과 다대다 이벤트 - 개체 구조를 상실하는 불필요한 "왕복 (round-trip)" 과정입니다.

방법론
저자들은 LLM 기반 트리거 및 컨텍스트 선택기를 소형 시계열 그래프 학습 (TGL) 모델로 대체하는 그래프 우선, 근거 기반 아키텍처를 제안합니다.

그래프 구성: 사용자 활동은 이질적인 시계열 상호작용 그래프로 변환됩니다. 노드는 이벤트와 의미론적 개체 (파일, 애플리케이션, URL, 쿼리) 를 나타내고, 간선은 시계열 순서와 "has_entity" 관계를 인코딩합니다.
공유 백본: 단일 TGL 인코더 (Jumping Knowledge 헤드가 있는 관계 인식 GATv2 레이어를 적층) 가 세션 그래프를 한 번의 순전파로 처리합니다.
이중 헤더 출력:
- 트리거 헤더: 이벤트 노드에서 작동하여 다운스트림 에이전트를 깨울지 여부에 대한 확률 ( $p_{trig}$ ) 을 출력합니다.
- 라우팅 헤더: 개체 노드에서 작동하여 특정 개체에 대한 관련성 점수 ( $s_{rout}$ ) 를 출력하고, 전달될 구조화된 컨텍스트를 선택합니다.
다운스트림 실행: 다운스트림 언어 에이전트 (LLM) 는 트리거 헤더가 임계값을 통과할 때 유일하게 호출됩니다. 이는 고득점 라우팅된 개체를 구조화된 컨텍스트로 소비하여 유창하고 사용자 친화적인 제안을 생성합니다.

주요 기여

형식화: 이 논문은 능동적 트리거링과 컨텍스트 선택을 언어 모델링 문제가 아닌 이질적 시계열 그래프에 대한 결합된 노드 수준 예측 문제로 재정의합니다. 이는 경량의 상시 작동 컨트롤러를 가능하게 합니다.
아키텍처: 저자들은 트리거 헤더와 라우팅 헤더가 단일 TGL 백본을 공유하는 통합 설계를 구체화합니다. 이들은 결합된 목적 함수에 대해 공동으로 훈련되어, 깨우는 결정과 증거 선택이 단일 순전파에서 동일한 은닉 상태로부터 도출되도록 보장합니다.
효율성과 성능: 이 접근 방식은 "상시 작동" 결정을 LLM 의 무거운 추론과 분리하여, 트리거를 통과한 순간에만 LLM 을 활용합니다.

실험 결과
14 개의 다양한 언어 에이전트 백본 (4B 에서 8B 오픈 가중치 모델부터 GPT-4o 및 Claude-Opus 와 같은 폐쇄형 API 에 이르기까지) 에 걸쳐 ProactiveAgent 데스크톱 벤치마크에서 평가되었습니다:

성능 향상: TGL 접근 방식은 모든 백본에서 F1 점수를 향상시켰으며, 평균 증가분은 +16.7(범위 +3.1 에서 +46.0)이었습니다. 특히, 파라미터 수준 적응 대신 소형 그래프 인코더 애드온을 사용하여 Qwen2-7B-Proact. 과 같은 미세 조정된 능동적 베이스라인을 능가했습니다.
트리거 품질: TGL 트리거는 규칙 기반, 표 형식, 텍스트 (BERT/MLP), 그리고 LLM-as-trigger 베이스라인과 비교하여 "반드시 발동해야 하는" 이벤트에서 가장 높은 AUC 점수 (0.738) 를 달성했습니다. 또한 우수한 보정을 보여주어 단일 글로벌 임계값이 모든 백본을 효과적으로 처리할 수 있게 했습니다.
지연 시간과 풋프린트:
- 속도: TGL 은 GPU 서버에서 11.13 ms에, 소비자용 노트북에서 13.99 ms에 이벤트를 처리합니다. 이는 단일 순전파 LLM 트리거보다 4~7 배 빠르고, 소비자 하드웨어의 LLM 트리거보다 12~83 배 빠릅니다.
- 메모리: 이 모델의 상주 풋프린트는 약 220 MiB(BF16)로, 민감한 활동 스트림과 함께 온디바이스 배포를 가능하게 합니다. 반면, 8B LLM 트리거는 약 16GB 의 VRAM 을 필요로 합니다.

의의 및 주장
이 논문은 능동적 에이전트를 위한 "상시 작동" 경로가 근본적으로 그래프 문제이지 언어 문제가 아니라고 주장합니다. 활동 스트림을 텍스트 시퀀스가 아닌 그래프 업데이트로 취급함으로써, 시스템은 LLM 이 파싱하도록 구조화된 데이터를 직렬화하는 비효율성을 피합니다.

저자들은 단순한 설계 원칙이 도출된다고 주장합니다: "깨우는" 및 "근거화" 결정을 처리하기 위해 경량의 시계열 모델을 상시 작동 상태로 유지하고, 이 트리거를 통과한 순간에만 전체 LLM 추론을 보류하는 것입니다. 이 접근 방식은 지연 시간과 계산 비용을 극적으로 줄이면서 최첨단 성능을 달성하여, 개인정보 보호나 반응성을 훼손하지 않고도 실시간 온디바이스 능동적 보조를 실현 가능하게 합니다. 이 연구는 트리거와 컨텍스트 선택이 결정 편차를 방지하기 위해 상태를 공유해야 하며, 이는 통합된 TGL 아키텍처가 자연스럽게 달성하는 특성임을 시사합니다.