💻 computer science

Accelerating Heterogeneous Agent Collaboration in Dynamic Edge Networks

이 논문은 오프라인으로 학습된 프로세스 보상 모델을 활용하여 추론 품질을 경량화된 로컬 스크리닝 정책으로 증류하고, 서버 측 라그랑주 스케줄러를 사용하여 자원 경합을 동적으로 관리함으로써, 이질적인 에지-LLM 협업 환경에서 정확도를 유지하면서도 지연 시간을 크게 단축하는 프레임워크인 PRADA를 소개한다.

원저자: Tianji He, Yulin Shao, Fen Hou

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianji He, Yulin Shao, Fen Hou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 모두가 거대하고 까다로운 퍼즐을 풀려고 노력하는, 북적이는 거대한 도시라고 상상해 보세요. 이 도시의 중심에는 거의 모든 것에 대한 답을 보유하고 있는 거대하고 초지능적인 도서관(‘서버’)이 서 있습니다. 하지만 이 도서관은 너무 거대하고 느려서 책 한 권을 가져오는 데 시간이 오래 걸리고 도로를 막히게 합니다. 한편, 도시의 모든 사람은 간단한 퍼즐을 즉각적으로 풀 수 있는 작고 빠른 수첩(‘엣지 디바이스’)을 가지고 있지만, 가끔 정말 어려운 부분에서 막히곤 합니다. 과학자들의 큰 질문은 이것입니다: 어떻게 하면 모든 사람이 쉬운 단계에서는 각자의 빠른 수첩을 사용하고, 어려운 부분에 대해서만 거대한 도서관으로 달려가게 하여 교통 체증을 일으키지 않을 것인가? 이것이 바로 ‘엣지 네트워크’에서의 ‘이질적 에이전트 협업(Heterogeneous Agent-Agent Collaboration)’이라는 과제입니다. 이는 작은, 빠른 컴퓨터와 크고, 느린 슈퍼컴퓨터가 도로가 붐비고 예측 불가능할 때 어떻게 효율적으로 함께 작동하게 할 것인가를 의미하는 멋진 표현입니다.

여기에 연구자 톈지 허(Tianji He), 위린 샤오(Yulin Shao), 펜 허우(Fen Hou)가 이 교통 체증을 해결하기 위해 제안한 새로운 전략인 PRADA 프레임워크가 등장합니다. PRADA를 영리한 교통 관제사라고 생각해 보세요. 이들은 비밀스러운 기술을 사용합니다. 즉, 초지능적인 도서관에게 모든 퍼즐의 모든 단계를 실시간으로 확인하도록 요청하는 대신(이는 영원히 걸릴 것이고 엄청난 지연을 초발할 것입니다), 도서-관의 두뇌를 오직 조용한 ‘비업무 시간’의 학습 세션 동안에만 사용하는 것입니다. 이 세션 동안, 도서관은 아주 작고 매우 빠른 ‘코치’(경량화된 정책 네트워크)에게 로컬 수첩에 비해 어떤 퍼즐 단계가 너무 어려운지를 식별하는 법을 가르칩니다. 학습이 완료되면 도서관은 다시 잠에 듭니다. 이제 사용자가 퍼즐을 시작하면, 그들의 로컬 코치는 즉각적으로 결정합니다: “이 단계는 쉬우니 내가 직접 하겠다” 또는 “이 단계는 까다로우니 거대한 도서관으로 보내겠다.”

논문은 사용자들이 끊임없이 도착하고 떠나며, ‘도로’(네트워크 대역폭)와 ‘도서관 책상’(서버 처리 능력)이 제한적인 동적인 환경에서 이 시스템을 시뮬레이션합니다. 연구진은 PRADA가 믿기 힘들 정도로 효과적이라는 것을 발견했습니다. PRADA는 초지능적인 도서관의 정확도(추론 품질의 대부분을 유지함)를 유지하면서도, 답을 얻는 데 걸리는 시간을 획기적으로 줄였습니다. 시뮬레이션에서 이 시스템은 매혹적인 ‘임계값 효과(threshold effect)’를 보여주었습니다. 서버의 용량을 예를 들어 9개의 책상이라고 가정해 봅시다. 책상이 9개보다 적었을 때는 시스템이 엉망이었고 작업들이 긴 줄을 서서 기다려야 했습니다. 하지만 마법의 숫자 9에 도달하자 기다리는 줄이 사라졌고, 그 이상의 책상을 추가해도 큰 도움이 되지 않았습니다. 마찬가지로, 데이터를 전송하는 것이 충분히 빨라지는 특정 도로 폭(대역폭)을 발견했는데, 그 지점 이상의 더 넓은 도로를 추가해도 시스템이 더 빨라지지 않았습니다. 이는 병목 현상이 단순히 도서관의 처리 속도로 옮겨갔기 때문입니다.

논문은 ‘프로세스 보상 모델(Process Reward Model, PRM)’—즉, 추론 단계가 좋은지 예측하는 도구—을 온라인 실시간 검사기로 사용하는 아이디어에 대해 명시적으로 반박합니다. 만약 모든 사용자의 모든 단계마다 이 무거운 검사기를 실행하려고 한다면, 엄청난 비용과 지연 때문에 시스템이 멈춰버릴 것임을 그들은 보여줍니다. 대신, PRADA는 검사기의 지혜를 사용자의 기기에서 실행되는 작고 가벼운 코치로 추출할 수 있음을 증명합니다. 이 접근 방식은 수학 문제나 복잡한 질문과 같은 다양한 유형의 추론 과제에 걸쳐 테스트되었으며, 결과는 이 2단계 방식(로컬 스크리닝 후 중앙 집중식 스케줄링)이 매번 새로운 퍼즐 유형에 맞춰 시스템을 조정할 필요 없이, 혼란스러운 역동적 네트워크를 다루는 견고한 방법임을 시사합니다.

기술 요약: 동적 에지 네트워크에서의 이종 에이전트 협업 가속화

문제 정의
에지(Edge) 환경에 대규모 언어 모델(LLM)을 배포하는 것은 막대한 계산 및 통신 비용으로 인해 제약이 따르며, 에지 디바이스 상의 소형 언어 모델(SLM)은 복잡한 과업 수행에 필요한 추론 품질이 부족하다. 이종 협업(에지 SLM에서 서버 LLM으로 단계를 오프로딩하는 방식)이 이론적인 해결책을 제시하지만, 기존 방식들은 세 가지 주요 장애물로 인해 현실적인 동적 환경에서 실패한다:

동적, 다단계 특성: 추론 과업은 자기회귀적 생성(autoregressive generation)을 통해 전개되며, 이 과정에서 컨텍스트가 시간에 따라 증가하므로 단계별 결정은 서로 의존적이다.
다중 사용자 자원 결합: 확률적인 사용자 도착은 유한한 서버 동시성( $M$ )과 총 대역폭( $B$ )에 대한 경쟁을 유발한다. 한 사용자의 오프로딩 결정은 다른 모든 사용자의 큐잉 상태와 대역폭 가용성을 변화시킨다.
품질-지연 시간 트레이드오프: 오프로딩은 정확도를 향상시키지만 "삼중 지연 페널티"(통신, 큐잉, 서버 계산)를 발생시키는 반면, 로컬 실행은 빠르지만 낮은 품질의 위험이 있다.

기존 접근 방식은 단계별 난이도 변화를 무시하고 거친 수준의 문제 단위 라우팅 결정을 내리거나, 단계별 결정을 위해 온라인에서 프로세스 보상 모델(PRM)을 사용한다. 후자의 경우, PRM이 가이드하는 LLM만큼이나 크기 때문에 다중 사용자 환경에서 과도한 지연 시간과 메모리 오버헤드를 발생시킨다.

방법론: PRADA 프레임워크
본 논문은 동적 제약 조건을 효율적으로 처리하기 위해 글로벌 결정 문제를 두 단계로 분리하는 PRADA(PRM 기반 2단계 분리 가속화) 프레임워크를 제안한다.

분리된 아키텍처:
- 1단계 (분산형 에지 스크리닝): 각 에지 사용자는 경량 정책 네트워크( $\pi_\theta$ )를 실행하여 현재 추론 단계를 로컬에서 유지할지 또는 서버 오프로딩을 위해 지명(nominate)할지에 대한 이진 결정을 내린다. 결정적으로, 이 결정은 로컬 컨텍스트만을 사용하여 이루어지며, 의사결정을 위해 컨텍스트를 업로드하지 않는다. 이는 서버의 후보 집합을 수십 배 줄여준다.
- 2단계 (중앙 집중형 서버 스케줄링): 서버는 지명된 후보들만을 수신한다. 서버는 현재 서버 동시성과 대역폭을 바탕으로 최종 액션(즉시 실행, 큐잉 또는 거부)을 할당하기 위해 자원 제약 최적화 문제를 해결한다. 이 단계는 임계값 구조의 정책을 도출하기 위해 라그랑주 기반 스케줄러를 활용한다.
오프라인 교사로서의 PRM:
온라인에서 무거운 PRM을 호출하여 시스템을 마비시키는 대신, PRADA는 오프라인 학습 중에만 PRM을 독점적으로 사용한다. PRM은 교사 역할을 수행하며 조밀한 보상 신호를 제공하고, 그 "전방향적(forward-looking)" 추론 품질 평가 능력을 경량 스크리닝 네트워크( $\pi_\theta$ )에 증류(distill)한다. 배포 시에는 PRM을 호출하지 않으므로, 결정 경로에서 PRM의 추론 지연 시간을 제거할 수 있다.
정밀한 지연 시간 모델링:
본 프레임워크는 지연 시간을 통신, 큐잉, 계산으로 분해하는 통합 지연 모델을 채택한다. 계산 지연은 컨텍스트 길이와 생성된 토큰 수를 고려하여 Transformer 추론의 FLOPs 수준 특성(prefill 및 decode 단계 분리)을 사용하여 엄격하게 모델링된다. 이를 통해 파라미터 $\beta$ 에 의해 균형이 잡힌 합성 목적 함수, 즉 추론 품질( $U$ ) 극대화와 엔드 투 엔드 지연 시간( $\Delta$ ) 최소화의 최적화를 일관되게 수행할 수 있다.

주요 기여

정식화: 본 논문은 확률적 도착, 증가하는 컨텍스트, 결합된 자원 경쟁을 명시적으로 포착하여, 동적 에지 네트워크에서의 이종 에이전트 협업을 제약된 순차적 결정 문제(MDP)로 정의한 최초의 원칙적인 정식화를 제공한다.
알고리즘 설계: PRADA 프레임워크는 두 단계로 분리된 접근 방식을 도입한다. 로컬 유지를 위한 결정(큐잉/통신을 무시한 거친 보상 기반)이 페널티가 재도입될 때도 전역적으로 최적임을 증명함으로써, 에지 스크리닝과 서버 스케줄링의 분리를 정당화한다.
오프라인 증류: PRM이 경량 정책을 훈련시키기 위한 오프라인 감독자 역할을 수행할 수 있음을 입증하여, 고가치 오프로딩 기회를 식별하는 능력을 유지하면서도 온라인 루프에서 PRM의 계산 부담을 제거한다.
구조적 통찰: 본 연구는 서버 병렬 용량과 총 대역폭에 대한 명확한 **임계 효과(threshold effects)**를 식별한다. 성능은 특정 자원 수준 이상에서 포화되며, 그 이후에는 시스템 병목 지점이 이동한다(예: 큐잉에서 계산으로, 또는 통신에서 경합으로).

실험 결과
Qwen2.5-Math 모델(1.5B SLM 및 7B LLM)을 사용하여 세 가지 추론 벤치마크(gsm8k, gaokao2023en, mmlu_stem)에 대해 시뮬레이션을 수행하였다.

정확도-지연 시간 트레이드오프: PRADA는 항상 LLM을 사용하는 방식의 정확도 이득 대부분을 유지하면서(예: gsm8k에서 All-SLM의 85.2% 대비 90.3%), 단순 오프로딩 전략에 비해 엔드 투 엔드 지연 시간을 실질적으로 감소시킨다.
자원 민감도:
- 서버 용량 ( $M$ ): $M$ 을 증가시키면 임계 지점(예: $M \approx 9$ )까지 정확도가 크게 향상되고 큐잉 지연이 감소하지만, 그 이후에는 포화된다.
- 대역폭 ( $B$ ): 유사한 임계값 동작이 관찰된다. 임계 대역폭 미만에서는 통신이 지연을 지배하며, 그 이상에서는 병목이 서버 경합 및 계산으로 이동한다.
비교: PRADA는 온라인 PRM 추론의 오버헤드 없이 높은 정확도와 낮은 지연 시간 사이의 우수한 균형을 달Ы함으로써 "All-SLM", "All-LLM" 및 기존 단계별 방법(예: RSD)보다 뛰어난 성능을 보인다.

의의 및 주장
본 논문은 PRADA가 계산 및 통신 자원의 공동 프로비저닝(joint provisioning)에 대한 실행 가능한 가이드를 제공한다고 주장한다. 특정 자원 임계값을 넘어서면 성능이 포화된다는 점을 밝힘으로써, 저자들은 시스템 설계자가 단일 차원을 과잉 프로비저닝하기보다는 자원의 조화로운 확장을 목표로 해야 한다고 주장한다. 또한, 무거운 교사 모델을 경량 온라인 오케스트레이터를 훈련시키기 위한 오프라인 감독용으로만 사용하는 방법론은, LLM/SLM 협업을 넘어 자원이 제한된 다중 에이전트 시스템에 광범위하게 적용 가능한 원칙으로 제시된다.

기술 요약: 동적 에지 네트워크에서의 이종 에이전트 협업 가속화

유사한 논문