🤖 AI

Coordinated Networking for On-Device Agent-Augmented Real-Time Communication

본 논문은 온디바이스 에이전트 증강 실시간 통신에서 라이브 비디오와 에이전트 컨텍스트 트래픽 간의 네트워크 경합을 효과적으로 관리하기 위해 앱 가이드형 멀티 플로우 전송 방식을 활용하여, 비디오 품질을 크게 향상시키고 에이전트 응답 지연을 줄이는 프레임워크인 HFS를 제시한다.

원저자: Goodsol Lee, Juheon Yi, Jinglu Wang, Haowen Xu, Saewoong Bahk, Yan Lu

게시일 2026-07-28

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Goodsol Lee, Juheon Yi, Jinglu Wang, Haowen Xu, Saewoong Bahk, Yan Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적거리는 디지털 파티에 있다고 상상해 보세요. 그곳의 모든 사람은 두 가지 일을 동시에 하려고 애쓰고 있습니다. 바로 생생한 대면 대화를 나누는 것과, 아주 똑똑한 로봇 비서의 도움을 받아 거대하고 복잡한 프로젝트를 함께 수행하는 것입니다. 컴퓨터 과학의 세계에서 이것은 '실시간 통신(RTC)'이라고 불리며, Zoom이나 Teams와 같은 화상 통화 기술을 구동하는 기술입니다. 보통 이러한 화상 통화는 인간이 대화하는 것에 초점이 맞춰져 있습니다. 하지만 새로운 기술의 물결은 'AI 에이전트'를 도입하고 있습니다. 이들은 당신이 대화하는 동안 문서를 읽고, 사실 관계를 찾아내며, 초안을 작성할 수 있는 스마트한 프로그램입니다. 과학자들이 던지는 핵심 질문은 이것입니다. 당신의 화상 통화가 당신의 얼굴을 스트리밍하려고 할 때, 그리고 당신의 로봇 비서가 자신의 임무를 수행하기 위해 거대한 데이터 더미를 스트리밍하려고 할 때 어떤 일이 벌어질까요? 만약 그들이 동일한 인터넷 연결을 두고 서로 싸운다면, 한쪽은 반드시 갇히게 될 것이며, 이는 영상이 멈추거나 로봇의 응답이 한없이 늦어지는 결과를 초래할 것입니다.

이 논문은 이 교통 체증 문제를 해결하기 위해 'HAFS(Human-Agent Flow Scheduling)'라고 불리는 영리한 새로운 시스템을 소개합니다. 연구진은 이 AI 에이전트를 거대한 클라우드 서버 대신 당신의 개인 기기(노트북이나 스마트폰 등)에서 직접 실행할 때, 프라이버시 보호와 비용 절감 측면에서 더 유리하지만, 새로운 종류의 인터넷 트래픽 혼란을 야기한다는 것을 발견했습니다. 그들은 교통 경찰이 없다면 로봇의 데이터가 도로를 점령하여 영상이 끊기거나 흐릿하게 보이게 만들거나, 혹은 로봇이 데이터를 받기 위해 계속 대기하며 유휴 상태에 빠지게 된다는 것을 발견했습니다. HAFS는 영상이 매끄럽게 유지되는 데 필요한 공간이 얼마인지, 그리고 로봇이 빠르게 작업하는 데 필요한 공간이 얼마인지를 정확히 알고 있는 초정밀 교통 관제사 역할을 합니다. 이 두 가지를 정교하게 균형 잡음으로써, 시스템은 당신의 영상이 선명하게 유지되는 동시에 AI 비서가 기록적인 속도로 임무를 완수할 수 있도록 보장합니다.

문제점: 디지털 2차선 고속도로

당신의 인터넷 연결을 2차선 고속도로라고 상상해 보세요. 한 차선에는 '인간 영상'이 있습니다. 이것은 마치 고속 주행하는 경주용 자동차의 흐름과 같습니다. 이 자동차들은 매끄럽고 지속적으로 움직여야 합니다. 만약 교통 체증이 발생하면 영상이 멈추고 대화가 끊기게 됩니다. 다른 차선에는 '에이전트 컨텍스트(Agent Context)'가 있습니다. 이것은 거대한 정보 상자를 실은 대형 화물 트럭 부대와 같습니다. 이 트럭들은 AI가 "이 1,000페이지짜리 법률 계약서를 요약해 줘"와 같은 질문에 답할 수 있도록 데이터를 운반하려고 노력합니다.

문제는 현재의 화상 통화 시스템에서는 이 두 차선이 서로 소통하지 않는다는 점입니다. 화물 트럭(AI)에게 큰 주문이 들어오면, 그들은 그저 가능한 한 빨리 달리기 시작하여 고속도로를 가득 채워버립니다. 이로 인해 경주용 자동차(당신의 영상)가 그 뒤에서 교통 체증에 갇히게 됩니다. 영상 시스템은 지연을 감지하고 도로가 끊겼다고 판단하여 패닉에 빠지며, 자동차의 속도를 아주 느리게 줄여 버립니다. 결국 당신의 영상은 픽셀이 깨지고 저화질로 변하게 됩니다. 한편, AI 트럭들은 도로가 비기를 기다리며 여전히 정체 속에 갇혀 있게 됩니다.

연구진은 이를 Zoom이나 Microsoft Teams와 같은 실제 화상 통화 플랫폼에서 테스트했습니다. 그 결과, 화상 통화와 함께 AI 데이터를 전송하려고 시도했을 때 영상 품질이 절반 이하로 떨어진다는 것을 발견했습니다. 더욱 심각한 것은, AI가 작업을 마친 후에도 영상이 정상 속도로 돌아오는 데 30초 이상이 걸린다는 점이었습니다. 이는 인간도 로봇도 각자의 일을 제대로 수행할 수 없는, 무질서하고 비효효율적인 난장판이었습니다.

해결책: 스마트한 교통 경찰, HAFS

이를 해결하기 위해 팀은 당신의 화상 통화 앱 내부에 직접 상주하는 스마트한 교통 경찰 역할을 하는 HAFS를 구축했습니다. 영상과 AI가 공간을 두고 싸우게 두는 대신, HAFS는 전체 고속도로를 관찰하며 각 차선이 정확히 어느 정도의 속도로 달려야 하는지를 결정합니다.

1. "프레임 단위" 감시자
HAFS의 첫 번째 임무는 영상 차선을 매우 면밀히 관찰하는 것입니다. 단순히 평균 속도를 보는 것이 아니라, 개별 영상 프레임 사이의 아주 미세한 간격(플립북의 개별 프레임 사이 간격과 같은 것)을 살핍니다. 이 시스템은 영상이 약간의 대기를 견딜 수 있지만, 그 한계(약 150밀리초)가 정해져 있다는 것을 알고 있습니다. 만약 AI 트럭들이 영상 자동차들을 한계치에 너무 가깝게 밀어붙이기 시작하면, HAFS는 즉시 트럭들에게 속도를 줄이라고 명령합니다. 반대로 도로에 여유 공간이 있다면, H서은 트럭들에게 속도를 높여 빈 차선을 채우라고 지시합니다. 이렇게 함으로써 영상은 매끄럽게 유지되고, AI는 사고를 일으키지 않으면서 사용 가능한 모든 여유 공간을 활용하게 됩니다.

2. "예측형" 스케줄러
두 번째 임무는 훨씬 더 똑똑합니다. 때때로 AI는 하나의 질문에 답하기 위해 한꺼번에 많은 트럭을 보내야 합니다. 기존 시스템에서는 이 트럭들이 마치 톨게이트 앞에 늘어선 자동차들처럼 자기 차례를 기다리며 하나씩 줄을 서야 했습니다. 이는 매우 느립니다. 하지만 HAFS는 각 트럭이 운반하는 상자의 크기를 보고, 그것들이 도착했을 때 언팩(unpack)하는 데 시간이 얼마나 걸릴지 예측합니다. 그런 다음, 한 트럭이 도착하여 언팩을 시작하자마자 다음 트럭이 이미 하역장에 도착해 있도록 완벽한 순서로 트럭들을 배치합니다. 이것을 '파이프라이닝(Pipelining)'이라고 합니다. 이는 마치 요리사가 첫 번째 음식이 아직 팬에서 익고 있는 동안 두 번째 요리를 위한 채소를 미리 다듬어 놓아, 아무것도 놀고 있지 않게 만드는 것과 같습니다.

결과: 더 빠르고 더 선명한 미래

연구진은 MacBook Pro, Samsung Galaxy 스마트폰, 그리고 Jetson이라는 소형 컴퓨터를 포함한 실제 기기에서 HAFS를 테스트했습니다. 그들은 Wi-Fi 6부터 5G에 이르기까지 다양한 유형의 AI 모델과 네트워크 속도를 적용하여 시뮬레이션을 실행했습니다.

결과는 인상적이었습니다. 기존 방식과 비교했을 때, HAFS는 영상 품질을 1.5배 더 개선했습니다. 동시에 AI의 응답 시간을 31% 단축했습니다. 어떤 경우에는 AI가 교통 체증에 갇혀 있지 않았기 때문에, 평소 105초가 걸리던 작업을 단 16초 만에 끝내기도 했습니다.

이 논문은 이러한 접근 방식이 AI 비서가 우리의 화상 통화를 망치지 않으면서도 일상의 일부가 되게 하는 유망한 방법임을 시사합니다. 인간과 로봇이 조화롭게 협력하도록 함으로써, 우리는 AI가 항상 준비되어 있고, 당신의 비밀을 안전하게 지키며, 인터넷을 원활하게 유지하는 상태에서 고화질 영상을 즐길 수 있는 화상 통화 환경을 가질 수 있습니다.

기술 요약: 온디바이스 에이전트 증강 실시간 통신을 위한 협력적 네트워킹

1. 문제 정의

AI 에이전트의 등장은 실시간 통신(RTC)의 새로운 패러다임인 **에이전트 증강 RTC(Agent-Augmented RTC)**를 주도하고 있습니다. 이 모델에서는 AI 에이전트가 사용자 기기에서 로컬로 실행되어, 인간의 협업(예: 법률 문서 공동 작성 또는 회의 로그 요약)을 지원하기 위해 정보를 자율적으로 검색, 분석 및 생성합니다.

온디바이스 에이전트는 개인정보 보호(민감한 데이터를 종단간 암호화된 상태로 유지)와 비용(클라우드로부터 GPU 추론 부하를 오프로딩) 측면에서 상당한 이점을 제공하지만, 다음과 같은 결정적인 네트워킹 과제를 야기합니다: 이질적인 트래픽 흐름 간의 경합(Contention).

인간 비디오 흐름(Human Video Flows): 낮은 지연 시간(<150 ms)과 높은 품질을 요구하며, 일반적으로 지연 기반 혼잡 제어(예: GCC)에 의해 관리됩니다.
에이전트 컨텍스트 흐름(Agent Context Flows): 빠른 LLM 추론을 가능하게 하기 위해 대규모 키-값(KV) 캐시(압축 후 최대 80 MB)를 스트리밍하는 과정을 포함합니다. 이 흐름은 처리량을 극대화하기 위해 손실 기반 혼잡 제어(예: SCTP)를 사용하며, 네트워크 버퍼를 공격적으로 채웁니다.

핵심 갈등: 이러한 흐름들이 네트워크를 공유할 때, 에이전트 컨텍스트 흐름의 공격적인 특성으로 인해 인간의 비디오에 대한 큐잉 지연(Queuing Delay)이 발생합니다. 이는 지연 기반 비디오 컨트롤러가 비트레이트를 급격히 낮추게 만들며(예: VMAF 점수 53% 하락), 회복 속도가 매우 느립니다(>30초). 또한, 단일 쿼리에 대해 여러 에이전트가 동시에 컨텍스트를 스트리밍할 경우, 표준 라운드 로빈 스케줄링은 큐잉 지연을 증가시키고 컴퓨팅 자원 활용도를 떨어뜨려 에이전트 응답 시간을 최대 56%까지 증가시킵니다.

2. 방법론: HAFS 프레임워크

저자들은 고화질 비디오와 낮은 에이전트 응답 지연을 동시에 보장하기 위해 설계된 협력적 네트워킹 프레임워크인 **HAFS (Human-Agent Flow Scheduling)**를 제안합니다. HAFS는 표준 WebRTC 및 llama.cpp 상단에서 작동하는 앱 가이드형 멀티 플로우 전송(App-guided multi-flow transport) 계층으로서, 기존의 네트워크 인프라 수정 없이 작동합니다.

2.1 시스템 아키텍처

HAFS는 현대적인 RTC에서 흔히 사용되는 선택적 전달 유닛(SFU) 아키텍처를 활용합니다. 이는 송신측과 SFU 양측의 앱 계층에서 작동하는 두 가지 코디네이터를 도입합니다:

인간-에이전트 흐름 코디네이터(Human-Agent Flow Coordinator): 비디오(RTP)와 에이전트 컨텍스트(SCTP) 흐름의 전송 속도를 공동으로 제어합니다.
멀티 에이전트 흐름 코디네이터(Multi-Agent Flow Coordinator): 총 응답 시간을 최소화하기 위해 동시 발생하는 에이전트 흐름의 전송 순서를 스케줄링합니다.

2.2 주요 설계 구성 요소

A. 인간-에이전트 흐름 협력

비디오와 에이전트 트래픽 간의 경합을 해결하기 위해, HAFS는 프레임 레벨 큐잉 인식 속도 제어(Frame-level queuing-aware rate control) 메커니즘을 채택합니다.

이중 피드백 추정기(Dual Feedback Estimator): RTP 피드백(패킷 지연)과 SCTP ACK를 결합하여 큐잉 지연을 추정합니다. SCTP ACK는 비디오 프레임 사이의 유휴 간격을 밀도 있게 채우므로, 시스템은 네이티브 RTP 페이싱을 방해하지 않으면서 에이전트 트래픽에 의해 발생하는 큐잉만을 측정할 수 있습니다.
공동 속도 제어(MI/AI-MD): 시스템은 프레임 레벨 큐잉 지연이 앱 지정 데드라인(예: 150 ms)에 근접하지만 초과하지 않는 지점까지 총 전송 속도를 높입니다.
- 승법적 증가(Multiplicative Increase, MI): 큐가 비어 있을 때 속도를 빠르게 높입니다.
- 가법적 증가(Additive Increase, AI): 큐가 형성되고 있지만 데드라인 미만일 때 속도를 완만하게 높입니다.
- 승법적 감소(Multiplicative Decrease, MD): 데드라인에 도달하면 속도를 줄입니다.
대역폭 할당: 총 속도가 결정되면, 시스템은 라이브 비디오에 필요한 비트레이트를 엄격히 우선 할당하고 남은 "여유(Slack)" 용량을 에이전트 흐름에 배분합니다.
에이전트 탐색 대역폭(Agent-Probed Bandwidth): 에이전트 흐름은 종종 비디오보다 높은 속도로 프로빙하므로, 시스템은 관찰된 에이전트 처리량을 사용하여 가용 대역폭을 추정함으로써, 비디오 컨트롤러가 느린 지연 기반 피드백 루프를 기다리지 않고도 혼잡으로부터 빠르게 회복할 수 있도록 합니다.

B. 멀티 에이전트 흐름 협력

여러 개의 동시 컨텍스트 스트림을 처리하기 위해, HAFS는 스케줄링 문제를 2머신 플로 숍(Two-machine flow shop) 문제(네트워크 전송 후 LLM 디코딩)로 취급합니다.

파이프라이닝 인식 스케줄링(Pipelining-Aware Scheduling): 시스템은 각 흐름에 대한 전송 시간( $T_{net}$ $T_{n e t}$ )과 계산 시간( $T_{comp}$ $T_{co m p}$ )을 예측합니다. 그리고 **존슨의 법칙(Johnson's rule)**을 적용하여 최적의 전송 순서를 결정합니다:
- $T_{net} \le T_{comp}$ 인 흐름은 먼저 스케줄링됩니다 (전송 시간 $T_{net}$ 오름차순 정렬).
- $T_{net} > T_{comp}$ 인 흐름은 마지막에 스케줄링됩니다 (계산 시간 $T_{comp}$ 내림차순 정렬).
예측 전략: LLM 출력 길이는 디코딩 전에는 알 수 없으므로, HAFS는 구축된 KV 캐시를 사용하여 **경량 단일 단계 LLM 디코딩(Lightweight single-step LLM decoding)**을 수행하여 응답 길이를 예측합니다. 이 예측은 오직 상대적 순서 결정을 위해서만 사용되므로, 시스템은 절대적인 예측 오류에 대해 견고합니다.
강건성 메커니즘:
- 동적 우선순위 업데이트: 네트워크 대역폭이 크게 변동할 경우(>20%) 우선순위를 재평가합니다.
  了 중첩된 프리필(Overlapped Prefill): 네트워크 전송이 로컬 프리필보다 느린 경우, 시스템은 수신 측의 컴퓨팅 자원을 계속 활용할 수 있도록 KV 캐시보다 원문 텍스트 컨텍스트를 우선적으로 스트리밍합니다.

3. 주요 기여

새로운 네트워킹 패러다임 식별: 본 논문은 온디바이스 RTC 환경에서 지연 시간에 민감한 비디오와 처리량 중심의 에이전트 컨텍스트 흐름이 공존할 때 발생하는 특유의 경합 문제를 강조하며, 이는 기존의 RTC나 클라우드 기반 에이전트 아키텍처에서는 다루지 못한 문제입니다.
앱 가이드형 멀티 플로우 전송: HAFS는 SFU 기반 RTC 아키텍처의 짧은 RTT를 활용하여, 라우터 수준의 수정 없이도 네트워크 내부 수준의 정밀한 흐름 스케줄링을 달성하는 통합 앱 계층 오케스트레이터를 도입했습니다.
새로운 속도 제어 메커니즘: SCTP ACK를 활용하여 에이전트 유발 큐잉을 비디오 트래픽과 분리해내는 프레임 레벨 큐잉 추정기를 설계함으로써, 비디오 품질과 에이전트 처리량을 동시에 최적화할 수 있게 했습니다.
컴퓨팅-네트워크 파이프라이닝: 멀티 에이전트 흐름 스케줄링을 플로 숍 문제로 정식화하고, 경량 LLM 예측을 사용하여 엔드 투 엔드 응답 시간을 최소화했습니다.

4. 실험 결과

저자들은 WebRTC와 llama.cpp를 사용하여 HAFS 프로토타입을 제작하였으며, 다양한 환경(MacBook Pro, Samsung Galaxy S25, NVIDIA Jetson Orin Nano)과 네트워크(Wi-Fi 6, 5G)에서 평가를 진행했습니다.

비디오 품질: 에이전트 흐름이 활성화된 상태에서 HAFS는 베이스라인(Zoom, Teams) 대비 1.5배 더 높은 비디오 품질(VMAF 측정)을 달성하였으며, 비디오 전용 스트리밍과 유사한 수준의 품질을 효과적으로 유지했습니다.
에이전트 지연 시간: HAFS는 최신 기술(SOTA) 베이스라인 대비 에이전트 응답 시간을 31% 단축했습니다.
확장성: 시스템은 다양한 동시 에이전트 흐름 수, 다양한 LLM 모델(Qwen, Llama 제품군), 그리고 다양한 네트워크 조건 전반에 걸쳐 성능 향상을 유지했습니다.
오버헤드: 본 프레임워크는 전력 소비, CPU 및 메모리 사용량 측면에서 무시할 만한 수준의 오버헤드만을 발생시킵니다.

5. 의의

본 논문은 HAFS가 차세대 협업 AI 애플리케이션을 위한 실용적이고 배포 가능한 솔루션을 제공한다고 주장합니다. 온디바이스 에이전트 증가 RTC를 가능하게 함으로써, HAFS는 개인정보 보호(클라우드 데이터 노출 방지)와 비용(클라우드 GPU 의존도 감소)이라는 두 가지 과제를 해결하는 동시에, 기존에 이러한 시스템을 불가능하게 만들었던 고대역폭/저지연 AI 워크로드와 실시간 인간 통신 간의 네트워킹 경합 문제를 해결합니다. 이 연구는 협력적인 앱 가이드형 전송 전략을 통해, 사용자 경험을 저해하지 않으면서도 고대역폭 및 지연 시간에 민감한 AI 워크로드를 실시간 인간 통신과 함께 지원할 수 있음을 입증합니다.