기술 요약: 정책 기반 물리 계층 시스템의 이중 수준 장기 최적화를 위한 에이전트형 AI (Agentic AI)

1. 문제 정의

미래의 무선 네트워크는 밀집된 연결성, 다양한 서비스 요구사항, 소프트웨어 정의 운영으로 인해 점점 더 복잡해지고 있습니다. 핵심적인 과제는 네트워크 운영자의 정책, 의도(intent), 그리고 핵심 성능 지표(KPI)가 시간이 지남에 따라 동적으로 변화할 수 있다는 점(예: 처리량 극대화에서 에너지 효율성 중시로의 전환)에서 발생합니다.

기존의 물리 계층 제어 프레임워크는 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 고정된 목표: 고전적인 모델 기반 솔버와 심층 강화 학습(DRL) 방법은 일반적으로 사전에 지정된 효용 함수나 보상 함수를 설계 목적으로 합니다. 운영자의 의도가 변경될 때, 이러한 시스템은 수동 재설정 및 재학습이 필요하며, 이는 비정상 상태(non-stationary) 환경에서 효과적이지 못합니다.
2. 실시간 제약 조건: 대규모 언어 모델(LLM)과 에이전트형 AI가 자연어 의도를 해석하는 데 유망함을 보여주고 있으나, 이를 즉각적인 물리 계층 결정(예: 빔포밍 벡터 생성)을 위해 직접 적용하는 것은 엄격한 실시간 지연 시간 및 즉각적인 채널 상태 정보(CSI) 하에서의 수치적 타당성 요구사항 때문에 불가능합니다.

본 논문은 변화하는 운영자 정책에 대응하여 물리 계층 최적화 구성을 적응적으로 업데이트하는 동시에, 즉각적인 물리 계층 결정의 최적성과 낮은 지연 시간을 유지할 수 있는 프레임워크의 필요성을 다룹니다.

2. 방법론: Agentic-LTPO 프레임워크

저자들은 장기적인 정책 적응과 단기적인 물리 계층 실행을 분리하도록 설계된 중첩된 이중 수준 최적화(nested bilevel optimization) 프레임워크인 **Agentic long-term performance optimization (Agentic-LTPO)**를 제안합니다.

A. 중첩된 이중 수준 구조

문제는 두 가지 타임스케일의 최적화로 정식화됩니다:

• 상위 수준 (느린 타임스케일): 큰 시간 간격($N$ 간격, 각 간격은 $T_s$ 슬롯을 포함)에 걸쳐 작동합니다. 에이전트형 AI 시스템은 운영자 정책(자연어)을 해석하고, 네트워크 동작을 요약하며, 과거의 경험을 검색하여 구조화된 구성 벡터 $c^{(n)}$을 생성합니다. 이 벡터는 하위 레벨을 위한 제약 조건과 목표(예: 목표 강건한 QoS 수준 $\Gamma^{(n)}_k$ 및 AP별 전력 예산 노출 계수 $\phi^{(n)}_\ell$)를 정의합니다.
• 하위 수준 (빠른 타임스케일): 슬롯당($t \in \mathcal{T}$) 작동합니다. 상위 레벨로부터 전달받은 구성 $c^{(n)}$을 바탕으로, 빠른 솔버는 불완전한 CSI 하에서 강건한 QoS 제약 조건과 AP별 전력 제한을 준수하면서 송신 전력을 최소화하기 위한 즉각적인 빔포밍 결정을 계산합니다.

B. 상위 수준 멀티 에이전트 아키텍처

이질적인 입력(자연어 정책, 환경 요약, 이력 데이터)을 실행 가능한 구성으로 변환하기 위해, 상위 레벨은 네 가지 뚜렷한 역할을 가진 협력적 멀티 에이전트 시스템을 채택합니다:

1. 정책 해석기 ($A_{int}$): 자연어 운영자 정책을 구조화된 기계 판독 가능 JSON 컨텍스트로 변환합니다. 이는 관련 과거 정책 증거를 검색하기 위해 검색 증강 생성(RAG) 모듈을 활용하여 일관성을 보장하고 모호성을 해결합니다.
2. 네트워크 관찰자 ($A_{obs}$): 이전 간격의 성능(운영 통계 및 의미론적 진단)을 분석하여 현재 네트워크 상태를 요약하고 병목 현상을 식별합니다.
3. 구성 플래너 ($A_{plan}$): 현재의 정책 컨텍스트와 네트워크 상태를 기반으로 후보 구성 조정을 제안합니다.
4. 성능 비평가 ($A_{crit}$): 검색된 역사적 사례 증거(유사한 과거 운영 체제)를 바탕으로 플래너의 후보 구성을 평가합니다. 이는 검증 루프로 작동하며, 구성이 경험적 증거와 일치하면 수락하거나 플래너에게 수정을 요청합니다.

이 **플래너-비평가 정제 루프(Planner-Critic refinement loop)**는 구성이 고립되어 생성되는 것이 아니라 축적된 운영 증거에 근거하도록 보장합니다.

C. 하위 수준 최적화

Cell-Free (CF) MIMO 다운링크 빔포밍의 특정 사용 사례를 위해, 하위 레벨은 에너지 최소화 문제를 해결합니다.

• 강건성(Robustness): 시스템은 노름 제한 오차 모델(norm-bounded error model)을 사용하여 CSI 불확실성을 고려합니다.
• 효율성: 저자들은 Zero-Forcing (ZF) 빔포밍 구조를 채택함으로써 폐쇄형 최악의 신호 대 간섭 잡음비(SINR) 경계값을 도출했습니다. 이를 통해 강건한 빔포밍 문제를 선형 계획법 문제로 변환하여, 엄격한 슬롯당 지연 시간 요구사항을 충족하면서 전역적 최적성과 선형 복잡도로 해결할 수 있게 합니다.

3. 주요 기여

본 논문은 다음과 같은 구체적인 기여를 명시합니다:

• 정식화: 정책 변화에 따른 적응형 물리 계층 제어를 정책 해석(대규모 타임스케일)과 즉각적 최적화(소규모 타임스케일)가 분리된 중첩된 이중 수준 문제로 정식화했습니다.
• 멀티 에이전트 설계: 정책 입력과 역사적 경험을 물리적으로 실행 가능한 구성 파라미터로 변환하기 위해 RAG 모듈을 갖춘 멀티 에이전트 협업 아키텍처(해석기, 관찰자, 플래너, 비평가)를 설계했습니다.
• 검증 메커니즘: 비평가 에이전트가 검색된 사례 증거를 사용하여 배포 전 후보 구성을 검증하고 정제함으로써 결정 오류를 줄이는 플래너-비평가 정제 루프를 도입했습니다.
• 효율적 솔버: CF-MIMO를 위한 강건한 에너지 최소화 문제가 ZF 기준 하에서 폐쇄형 최악의 SINR 경계값을 가짐을 밝혀내어, 전역적 최적성을 갖춘 효율적인 슬롯당 솔버를 가능하게 했습니다.

4. 실험 결과

프레임워크는 무작위 및 구간별 정적(piecewise-stationary) 운영자 정책 설정 하에서 8명의 사용자를 서비스하는 16개의 분산된 AP를 가진 CF-MIMO 시스템에서 평가되었습니다.

• 성능 이득: Agentic-LTPO는 정적 베이스라인 전략에 비해 누적 통신 효용을 57.2% 향상시켰습니다.
• 정책 적응성: 정적 전략이나 단일 에이전트 컨트롤러와 달리, Agentic-LTPO는 변화하는 정책 체제(예: 처리량 중심 모드와 에너지 절약 모드 간의 전환)를 성공적으로 추적하여 그에 따라 구성 파라미터(QoS 목표 및 전력 예산)를 조정했습니다.
• 구성 요소 분석: 어블레이션 연구(Ablation studies) 결과, RAG 모듈이나 비평가 에이전트 중 하나라도 제거하면 성능이 저하됨을 보여주었으며, 이는 역사적 증거 검색과 정제 루프가 지속적인 적응에 필수적임을 확인시켜 줍니다.
• 강건성: 프레임워크는 서비스 부하 스트레스(변화하는 AP 밀도) 하에서도 높은 성능과 낮은 QoS 위반 비율을 유지하며, 단일 에이전트 및 정적 접근 방식보다 우수한 성능을 보였습니다.
• 언어 근거화(Language Grounding): 원시 자연어 입력을 오라클(oracle) 구조화된 정책 입력과 비교했을 때, Agentic-LTPO는 단 **1.9%**의 성능 격차만을 보인 반면, 단일 에이전트 컨트롤러는 6.8%의 격차를 보였습니다. 이는 멀티 에이전트 구조가 자연어의 모호성을 효과적으로 완화함을 시사합니다.
• 트레이드오프: 프레임워크는 정적 또는 단일 에이전트 방식보다 높은 추론 오버헤드(토큰 사용량)를 발생시키지만, 이 비용은 훨씬 높은 장기 통신 효용을 제공합니다.

5. 의의 및 주장

본 논문은 Agentic-LTPO가 이질적이고 높은 수준의 정책 의도와 실행 가능한 저수준 물리 계층 구성 사이의 신뢰할 수 있는 인터페이스를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 적응성: 보상 함수에 대한 재학습이나 수동 재설정 없이도 시간 가변적인 운영자 정책에 물리 계층 컨트롤러가 적응할 수 있게 합니다.
• 신뢰성: RAG를 통한 역사적 증거와 비평가 메커니즘을 통한 검증을 통해, 프레임워크는 언어의 모호성과 결정 오류에 강건한 구조화되고 실행 가능한 구성을 생성합니다.
• 확장성: 관심사의 분리(separation of concerns)를 통해 강력한 느린 타임스케일의 에이전트형 AI를 추론에 사용하면서도, 실시간 실행을 위한 전문 수학적 솔버의 속도와 최적성을 보존할 수 있습니다.

저자들은 이 접근 방식이 고수준 네트워크 의도와 저수준 물리 계층 실행 사이의 간극을 효과적으로 메우며, 미래 6G 무선 네트워크를 위한 정책 주도 최적화의 실행 가능한 경로를 제공한다고 결론짓습니다.