⚡ electrical engineering

RL based Beamforming Optimization for 3D Pinching Antenna assisted ISAC Systems

본 논문은 ISAC 시스템을 위한 3D 피칭 안테나 배치 방안을 제안하고, 안테나 위치 선정, 시간 할당 및 송신 전력을 공동으로 최적화하기 위해 이종 그래프 신경망 기반의 강화 학습 알고리즘을 개발하였으며, 센싱 및 에너지 제약 조건 하에서 통신 합계 전송률을 극대화하는 데 있어 1D/2D 대응 방식 및 다른 베이스라인 모델들보다 우수한 성능을 입증하였다.

원저자: Qian Gao, Ruikang Zhong, Yue Liu, Hyundong Shin, Yuanwei Liu

게시일 2026-01-29

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Qian Gao, Ruikang Zhong, Yue Liu, Hyundong Shin, Yuanwei Liu

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 두 가지 일을 동시에 수행해야 하는 파티를 주최하고 있다고 상상해 보세요: 손님들과 대화하기(통신)와 모두가 안전한지 방 안을 살피기(감지)입니다. 무선 기술의 세계에서 이것은 ISAC(통합 감지 및 통신)라고 불립니다.

보통 이 역할을 하는 "스피커"(안테나)들은 마치 일렬로 늘어선 군인들처럼 직선이나 평면 격자 형태에 갇혀 있습니다. 이 논문은 이들을 배치하는 새로운 방법인 **3D 피칭 안테나(3D Pinching Antennas)**를 제안합니다.

이 논문의 아이디어를 쉬운 비유를 사용하여 정리하면 다음과 같습니다.

1. 문제점: "평면적" 한계

전통적인 안테나는 마치 사람들이 한 줄로 서서 손전등을 들고 있는 것과 같습니다. 그들은 앞을 향해 빛을 비출 수는 있지만, 몸 전체를 움직이지 않고는 위, 아래 또는 옆을 쉽게 볼 수 없습니다. 만약 손님이 발코니에 서 있거나 타겟이 공중에 높이 떠 있다면, 평면적인 안 line의 안테나는 그들에게 효율적으로 도달하는 데 어려움을 겪습니다. 그들은 자신의 "차선" 밖에 있는 타겟을 맞추기 위해 에너지를 낭비하게 됩니다.

2. 해결책: "피칭(Pinching)" 안테나

저자들은 피칭 안테나라는 특별한 기술을 소개합니다.

비유: 물이 흐르는 긴 유연한 정원 호스(도파관)를 상상해 보세요. 보통 물은 끝에서만 흘러나옵니다. 하지만 이 특별한 호스는 호스의 어느 지점에서든 "꼬집으면(pinch)" 바로 그 지점에서 물이 뿜어져 나옵니다.
이점: 고정된 스피커를 갖는 대신, 원하는 곳 어디에서나 "스피커"(안테나)를 켤 수 있는 유연한 호스를 갖게 되는 것입니다. 이는 저렴하면서도 매우 유연합니다.

3. 핵심 아이디어: 3D "불가사리" 모양

이전 연구들은 이 호스들을 직선(1D)이나 평면 격자(2D)로만 배치했습니다. 이 논문은 세 개의 호스를 사용하여 방의 모서리(바닥과 두 벽면이 만나는 X, Y, Z축)와 같은 3D 코너 형태로 배치할 것을 제안합니다.

왜 더 좋은가: 이것은 평면적인 손전등을 3D 불가사리로 바꾸는 것과 같습니다. 이제 시스템은 바닥에 있는 손님, 발코니에 있는 손님, 심지어 공중에 떠 있는 타겟까지 도달할 수 있습니다. 이는 시스템이 에너지를 낭비하지 않고 필요한 곳에 정확히 빔을 쏠 수 있는 "공간적 자유"를 제공합니다.

4. 과제: "너무 많은 선택지" 문제

안테나가 3D 공간 어디로든 움직일 수 있고, 또한 각 손님에게 언제 말을 걸고 얼마나 크게 말할지도 결정해야 하기 때문에, 수백만 가지의 가능한 조합이 존재합니다.

비유: 이것은 당신이 조글링을 하는 동안에도 계속 모양이 변하는 루빅스 큐브를 푸는 것과 같습니다. 인간(또는 표준 컴퓨터 프로그램)은 매 초마다 완벽한 움직임을 계산하려다 보면 압도당할 것입니다.

5. 두뇌: HGRL (스마트 코치)

이를 해결하기 위해 저자들은 HGRL(이종 그래프 신경망 강화 학습)이라는 새로운 AI 코치를 만들었습니다.

작동 방식: 이 코치는 선수(사용자)와 공(타겟)을 단순히 어지러운 군중으로 보는 것이 아니라, 모든 연결이 라벨링된 특별한 지도(그래프)로 봅니다.
- "이 안테나는 저 사용자와 대화하고 있다."
- "이 안테나는 저 타겟을 감시하고 있다."
- "이 두 안테나는 서로 간섭을 일으키고 있다."
"이종(Heterogeneous)"의 의미: 이것이 핵심입니다. 코치는 "사용자"와 "타겟"의 차이를 알고 있습니다. 모든 것을 똑같이 취급하지 않습니다. 이를 통해 AI는 모든 것을 일반적인 덩어리로 취급하는 기존 AI 방식보다 훨씬 빠르게 학습하고 더 똑똑한 결정을 내릴 수 있습니다.

6. 결과: 승자의 자리

저자들은 이 새로운 3D 설정이 기존의 1D 및 2D 설정과 어떻게 비교되는지 확인하기 위해 시뮬레이션(컴퓨터 테스트)을 실행했습니다.

결과: 3D 피칭 안테나 설정이 매번 승리했습니다.
- 통신: 사용자에게 더 많은 데이터를 전달했습니다(더 빠르게 대화함).
- 감지: 타겟을 놓치지 않고 잘 관찰하면서도, 이를 수행하는 데 더 적은 전력을 사용했습니다.
- 효율성: 기존의 1D 및 2D 설정은 타겟에 도달하기 위해 많은 에너지를 낭비했습니다. 3D 설정은 매우 정밀하여 아주 적은 전력만으로도 안전 요구 사항을 충족할 수 있었고, 덕분에 절약된 에너지를 사용자에게 대화하는 데 집중할 수 있었습니다.

요약

요약하자면, 이 논문은 다음과 같이 말합니다: 안테나를 평면적인 선으로 배치하는 것을 멈추십시오. 유연한 "피칭" 기술을 사용하여 호스를 3D 코너 형태로 배치하고, 사람과 사물의 차이를 이해하는 스마트한 AI 코치를 훈련시킨다면, 더 빠르고, 더 똑똑하며, 에너지를 적게 사용하는 무선 시스템을 만들 수 있습니다. AI는 3D 공간에서 안테나를 움직여 대화와 감지의 균형을 완벽하게 맞춤으로써, 기존의 더 평면적인 방식들을 모두 이겨냈습니다.

기술 요약: 3D 피칭 안테나 지원 ISAC 시스템을 위한 RL 기반 빔포밍 최적화

문제 정의
통합 센싱 및 통신(ISAC) 시스템은 스펙트럼 효율성과 상황 인지 능력을 향고하기 위해 스펙트럼과 하드웨어 사용을 통합하는 것을 목표로 한다. 피칭 안테나(PA)—저비용의 재구성 가능한 유전체 도파관 기반 리키 안테나(leaky antenna)—는 이동성과 온디맨드(on-demand) LoS(가시선) 빔 형성 능력을 갖추고 있어 ISAC에 큰 잠재력을 제공하지만, 기존 연구는 주로 PA 배치를 1D(단일 도파관) 또는 2D(평면 내 평행 도파관) 구성에 국한해 왔다. 이러한 저차원 레이아웃은 각도 범위와 고도 다양성을 제한하여, 공중 또는 고도가 높은 사용자나 타겟을 효과적으로 서비스하는 능력을 제약한다.

또한, 3D PA 지원 ISAC 시스템을 최적화하는 것은 복잡한 과제를 안겨준다. 이 문제는 연속 변수인 3D 안테나 위치 선정, 시분할 다중 접속(TDMA) 시간 할당, 그리고 송신 전력 분배의 결합 최적화를 포함한다. 이는 고차원적이고 비볼록(non-convex)하며 비선형적인(분수 형태의 SNR 표현식 및 지수 형태의 위상 항으로 인한) 최적화 문제를 생성하며, 이는 기존의 수작업 설계된 최적화 기법이나 표준 강화 학습(RL) 방법으로는 해결하기 어렵다.

방법론
이러한 과제를 해결하기 위해, 저자들은 3D 배치 방식과 이기종 그래프 신경망 기반 강화 학습(HGRL) 알고리즘을 결합한 새로운 프레임워크를 제안한다.

시스템 모델: 저자들은 기지국(BS)이 x, y, z축에 정렬된 세 개의 직교 도파관을 갖춘 다운링크 ISAC 시스템을 모델링한다. 이 시스템은 x-y 평면에 위치한 $K$ 명의 사용자를 서비스하고 $L$ 개의 타겟을 탐지한다. 최적화 목표는 타겟 센싱 속도(SNR) 및 총 에너지 예산, 최소 안테나 간격 제약 조건을 준수하면서 합계 통신 속도를 최대화하는 것이다.
MDP 정식화: 최적화 문제는 마르코프 결정 과정(MDP)으로 정식화된다.
- 상태 공간(State Space): 안테나, 사용자, 타겟을 노드로 하고 통신, 센싱, 간섭 관계를 에지로 나타내는 시변 이기종 그래프로서 시스템 토폴로지를 표현한다.
- 행동 공간(Action Space): 안테나 변위, TDMA 가중치, 전력 할당을 포함하는 연속 벡터이다.
- 보상 함수(Reward Function): 센싱 SNR 임계값 및 물리적 제약 조건(예: 안테나 간격) 위반에 대해 페널티를 부여하면서 합계 통신 속도를 최대화하도록 설계되었다.
HGRL 알고리즘: 핵심 솔루션은 Advantage Actor-Critic(A2C) 알고리즘을 활용하는 HGRL 프레임워크이다.
- 이기종 그래프 표현: 이기종 그래프 접근 방식과 달리, 제안된 방법은 이기종 GNN(HGNN) 인코더를 사용하여 서로 다른 노드 유형(안테나, 사용자, 타겟)과 관계 유형(통신, 센싱, 간섭)을 명시적으로 인코딩한다. 이를 통해 ISAC 특유의 상호작용을 정밀하게 모델링할 수 있다.
- 정책 및 가치 네트워크: 인코딩된 그래프 임베딩은 액터(actor) 네트워크(행동 선택용)와 크리틱(critic) 네트워크(가치 추정용)로 전달되어 빔포밍 및 자원 할당을 위한 최적 정책을 공동으로 학습한다.

주요 기여

3D 배치 방식: 본 논문은 세 개의 직교 도파관을 사용하는 3D 피칭 안테나 구성을 제안하고 분석한다. 이는 기존의 ISAC 연구를 1D/2D 레이아웃 너머로 확장하여, 전 공간 빔 스티어링(full-space beam steering)과 통신 및 센싱 빔을 분리할 수 있는 추가적인 공간 자유도를 제공한다.
HGRL 프레임워크: 저자들은 3D 피칭 안테나 지원 ISAC를 위해 최초의 이기종 GNN 기반 강화 학습 프레임워크를 개발하였다. 이 접근 방식은 그래프 구조의 상태와 혼합 연속 행동 공간에 대한 확장 가능한 최적화를 가능하게 하며, 복잡한 토폴로지 관계를 처리하는 데 있어 기존 RL의 한계를 해결한다.
결합 최적화 정식화: 본 연구는 안테나 위치 선정, 시간 할당, 전력 제어를 위한 포괄적인 결합 최적화 문제를 정식화하여, 현실적인 제약 조건 하에서의 미세한 자원 제어를 포착한다.

시뮬레이션 결과
6명의 사용자와 1개의 타겟이 있는 시뮬레이션 환경에서 다양한 전력 제약 조건( $p=0.1$ W 및 $p=0.02$ W) 하에 1D, 2D, 3D 배치 전략을 비교하는 수치 실험이 수행되었다.

알고리즘 성능: 제안된 HGRL 알고리즘은 베이스라인(표준 A2C, 동종 GRL, 무작위 구성)에 비해 우수한 성능을 보였다. HGRL은 복잡한 계층적 추론으로 인해 수렴 속도는 약간 느렸으나, 가장 높은 최종 보상과 안정성을 달치함으로써 이기종 관계 모델링의 효과를 입증했다.
배치 비교: 3D 배치는 합계 통신 속도 측면에서 1D 및 2D 대응 방식보다 일관되게 우수한 성능을 보였다.
- 고전력($0.1$W) 환경에서 3D 배치는 평균 7.13 bps/Hz를 달성하였으며, 이는 2D(6.37 bps/Hz) 및 1D(6.21 bps/Hz)보다 높았다.
- 엄격한 전력 제약($0.02$W) 하에서는 3D 배치의 이점이 더욱 두드러졌다. 3D 방식은 4.70 bps/Hz를 달성한 반면, 1D와 2D는 각각 3.80 및 4.50 bps/Hz를 기록했다.
자원 효율성: 결과는 3D 배치가 시스템을 센싱 SNR 제약 임계값(예: 요구되는 5 dB 대비 5.41 dB)에 더 가깝게 작동하게 하여, 불필요한 센싱 전력 소비를 줄이고 통신에 더 많은 전력을 재할당할 수 있음을 보여준다. 반면, 1D 및 2D 배치는 현저히 높은 센싱 SNR을 나타냈는데, 이는 통신 처리량을 제한하는 비효율적인 전력 사용을 의미한다.

의의
본 논문은 HGRL을 통해 최적화된 제안된 3D 피칭 안테나 구성이 특히 전력이 제한된 시나리오에서 센싱과 통신 성능 사이의 우수한 균형을 제공한다고 주장한다. 삼축 도파관의 공간적 다양성을 활용함으로써, 시스템은 유연한 빔 스티어링과 효율적인 빔 분리를 달성한다. 본 연구는 3D 구조가 센싱 능력을 요구 임계값 근처로 유지하면서 통신 속도를 최대화한다는 점을 강조하며, 차세대 자원 제한적 ISAC 애플리케이션에서의 잠재력을 보여준다.