Fine-Tuning LLMs to Generate Economical and Reliable Actions for the Power Grid

논문 요약: 전력 계정을 위한 경제적 및 신뢰성 있는 액션 생성을 위한 LLM 미세 조정

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 공공 안전 정전 (Public Safety Power Shutoffs, PSPS) 은 극한 기상 조건에서 산불 발생 위험을 줄이기 위해 유틸리티가 수행하는 예방적/수정적 전선 차단 조치입니다. PSPS 로 인해 송전선이 강제로 차단되면, 기존 운영 지점이 비현실적이 되어 운영자가 신속하게 수정적 송전 스위칭 (Corrective Transmission Switching) 조치를 취해야 합니다.
• 문제점:
  • 운영자는 과부하를 완화하고 부하 손실 (Load Shedding) 을 줄이며 전압을 안정화하기 위해 추가적인 선로 차단 (Open-only) 결정을 내려야 하지만, 이는 시간적 제약이 매우 큽니다.
  • 기존 최적화 기법 (혼합 정수 선형 계획법, MILP) 은 비선형 AC 제약 조건을 고려할 때 계산 비용이 매우 높고 실시간 의사결정에 부적합할 수 있습니다.
  • 기존 대규모 언어 모델 (LLM) 은 전력 시스템의 물리 법칙, 운영 제약, 안전 요구사항에 대한 도메인 지식이 부족하여 직접 적용하기 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 지시형 (Instruction-tuned) LLM 을 전력 계통 상황에 맞게 미세 조정하는 검증 가능한 3 단계 적응 파이프라인을 제안합니다.

1 단계: 지도 학습 미세 조정 (Supervised Fine-Tuning, SFT)

• 목적: LLM 이 최적화 오라클 (Oracle) 의 행동을 모방하도록 학습시킵니다.
• 과정:
  • DC-OPF MILP 오라클: PSPS 시나리오와 스위칭 예산 (Switching Budget) 하에서 DC 최적 조류 (DC-OPF) 문제를 풀어 최적의 '선로 개방 (Open-only)' 결정 (Ground Truth) 을 생성합니다.
  • 구조화된 문법 (Action Grammar): LLM 이 출력하는 액션을 파싱 가능하고 검증 가능한 제한된 문법 (예: open(S3:21), do_nothing) 으로 변환합니다.
  • 학습: 생성된 시나리오 요약과 최적 액션 쌍을 사용하여 LLM 을 지도 학습 (SFT) 시켜, 시나리오를 입력받아 구조화된 액션 리스트를 생성하는 정책을 ($\pi_{SFT}$) 학습합니다.

2 단계: 직접 선호도 최적화 (Direct Preference Optimization, DPO)

• 목적: DC 기반 학습만으로는 누락되는 **전압 안전성 (Voltage Safety)**을 개선합니다.
• 과정:
  • AC 평가: SFT 모델이 생성한 후보 액션들을 AC 조류 (AC Power Flow) 시뮬레이션에 통과시켜 전압 편차 (Voltage Penalty) 를 계산합니다.
  • 선호도 쌍 생성: 전압 Penalty 가 낮은 액션 ($y^+$) 과 높은 액션 ($y^-$) 을 쌍으로 구성합니다.
  • 정책 정제: DPO 를 통해 전압 품질이 더 좋은 액션을 선택할 확률을 높이는 정책 ($\pi_{DPO}$) 으로 모델을 정제합니다. 이는 DC 최적화 이상의 전압 인식 능력을 모델에 주입합니다.

3 단계: Best-of-N 선택 (Inference-time Selection)

• 목적: 추론 시 단일 출력의 실패 가능성을 줄이고 품질을 극대화합니다.
• 과정: 주어진 시나리오에 대해 $N$개의 후보 액션을 샘플링한 후, 문법 검증, 예산 준수, DC/AC 조류 통과 여부를 확인합니다. 검증된 후보들 중 목표 지표 (경제성 또는 전압 Penalty) 를 최적화하는 가장 좋은 액션을 선택합니다.

3. 주요 기여 (Key Contributions)

1. PSPS 인식형 스위칭 문제 공식화: DC-OPF MILP 오라클을 사용하여 스위칭 예산과 회랑 (Corridor) 구조를 고려한 '개방 전용 (Open-only)' 스위칭 문제를 정의했습니다.
2. 구조화된 시나리오 표현 및 액션 문법: LLM 이 파싱 및 검증이 용이한 구조화된 텍스트로 스위칭 계획을 생성할 수 있도록 하는 문법을 설계했습니다.
3. 전압 인식 선호도 정제 (Voltage-aware Refinement): DPO 를 도입하여 AC 기반 전압 품질 선호도를 학습함으로써, 단순 DC 모방을 넘어선 전압 안전성을 확보했습니다.
4. 종합적 평가 및 재현성: IEEE 118-bus 시스템에서 경제성, AC 실현 가능성 (Feasibility), 전압 품질을 평가하고, 신경망 (NN) 베이스라인 및 제로샷 (Zero-shot) 모델과 비교했습니다. 코드와 데이터 생성 스크립트를 공개하여 재현성을 보장했습니다.

4. 실험 결과 (Results)

IEEE 118-bus 테스트 시스템에서 PSPS 시나리오를 기반으로 실험을 수행한 결과는 다음과 같습니다.

• 경제적 성능 (DC Objective): 미세 조정된 모델 (SFT, DPO) 은 제로샷 (Zero-shot) 생성에 비해 DC 목적 함수 값 (비용) 을 현저히 개선했습니다. SFT 와 DPO 는 유사한 경제적 성능을 보였습니다.
• AC 실현 가능성 (AC Feasibility):
  • 제로샷 모델은 AC 조류 실패율이 **50%**에 달했습니다.
  • SFT 와 DPO 모델은 이를 **단일 자릿수 (약 6.7%)**로 대폭 감소시켰습니다. 이는 제한된 문법과 DC 오라클 모방이 물리적 타당성을 크게 향상시킴을 의미합니다.
• 전압 품질 (Voltage Penalty):
  • AC 조류가 성공한 공통 데이터셋 (Common-success set) 에서 DPO 모델은 SFT 및 신경망 (NN) 베이스라인보다 더 낮은 전압 Penalty를 기록했습니다. 이는 DPO 가 전압 안전성을 효과적으로 학습했음을 보여줍니다.
• 학습 곡선: SFT 와 DPO 모두 수렴이 잘 이루어졌으며, 학습 과정에서 발산 현상은 관찰되지 않았습니다.

5. 의의 및 결론 (Significance)

• 실용적 접근: 이 연구는 LLM 을 전력 계통의 '대체자'가 아닌, 기존 분석 파이프라인과 연동되는 **검증 가능한 보조 도구 (Assistant)**로 활용하는 새로운 패러다임을 제시합니다.
• 신속한 의사결정: 복잡한 최적화 계산을 오프라인 학습 단계로 이전하고, 추론 단계에서는 구조화된 문법과 빠른 샘플링을 통해 운영자가 실시간으로 신뢰할 수 있는 스위칭 계획을 얻을 수 있게 합니다.
• 안전성 강화: 단순한 경제성 최적화를 넘어, AC 물리 법칙을 고려한 전압 안전성을 LLM 학습에 통합함으로써 전력 계통의 신뢰성을 높였습니다.

이 논문은 LLM 을 전력 시스템과 같은 고위험 도메인에 적용할 때, 지도 학습 (SFT) 을 통한 구조 준수와 선호도 최적화 (DPO) 를 통한 물리 법칙 준수를 결합한 효과적인 프레임워크를 입증했습니다.