A Benchmark on LLM-Based Power Flow Computation: Do More Structured Prompts Help?

기술 요약: LLM 기반 전력 흐름 계산에 대한 벤치마크

문제 제기
전력 흐름 계산은 계통 계획, 운영 및 안정성 분석의 기초 요소입니다. 대규모 언어 모델 (LLM) 은 고장 진단부터 운영자 질의응답에 이르기까지 스마트 계통을 위한 의사결정 지원 도구로 점차 탐구되고 있지만, 정밀한 수치 알고리즘을 실행하는 능력은 아직 검증되지 않았습니다. 구체적으로, 전력 공학 교육 과정에서 가르치는 고전적인 반복 솔버인 가우스 - 자이델 (Gauss-Seidel) 방법은 복잡한 산술 연산, 다중 패스 수렴, 그리고 중간 전압 추정의 신중한 추적을 요구합니다. 본 논문은 LLM 이 이러한 고전적 반복 알고리즘을 신뢰할 수 있게 실행할 수 있는지 이해하는 데 존재하는 간극을 해소하고, 프롬프트 엔지니어링 전략 (예: 구조화된 입력, 사고의 사슬, 퓨샷 예시) 이 이러한 작업의 성능에 미치는 영향을 조사합니다.

방법론
저자들은 3 버스 교류 (AC) 전력 흐름 시스템을 사용하여 4 가지 서로 다른 프롬프트 형식으로 3 개의 LLM 을 평가하는 통제된 벤치마크를 설계했습니다.

• 시스템 및 솔버: 테스트베드는 무작위 분기 파라미터 ($R, X$) 와 부하 값을 가진 완전히 연결된 3 버스 시스템 (1 개의 슬랙 버스, 2 개의 PQ 부하 버스) 입니다. 기준 해는 파이썬 (NumPy) 을 사용하여 이중 정밀도 산술로 수치적으로 계산되었습니다. 행렬 분해 복잡성으로부터 반복 산술의 난이도를 분리하기 위해 뉴턴 - 라프슨 대신 가우스 - 자이델 방법이 선택되었으며, 이를 통해 벤치마크가 모델이 알려진 알고리즘적 절차를 따르는 능력을 테스트하도록 보장했습니다.
• 평가된 모델:
  1. Gemini 2.5 Pro (Google DeepMind)
  2. Claude Sonnet 4.5 (Anthropic)
  3. GPT-3.5 Turbo (OpenAI) 를 하위 성능 베이스라인으로 사용.
• 프롬프트 형식: 표현적 복잡성을 변화시키기 위해 4 가지 형식을 테스트했습니다.
  1. 내러티브 - 최종 (Narrative-final): 최종 답안만 요청하는 문제의 자연어 설명 (교과서 스타일).
  2. 내러티브 + 예시 (Narrative+Example): 동일한 내러티브에 교과서에서 가져온 완전한 풀이 예시를 추가.
  3. 절차적 - 텍스트 (Procedural-text): 불릿 포인트 데이터를 포함한 번호가 매겨진 단계별 절차로, 반복 추적 테이블과 최종 답안을 요구.
  4. 구조화 - JSON (Structured-JSON): 작성된 절차가 포함된 기계 가독성 JSON 입력으로, 동일한 반복 추적과 최종 답안을 요구.
• 평가: 벤치마크는 50 개의 테스트 케이스에서 실행되었으며, 독립적인 100 케이스 복제가 수행되었습니다. 지표에는 MW/MVar 단위의 평균 절대 오차 (MAE) 와 특정 상대 오차 구간 (<1%, 1–5%, 5–10%, 10–20%, >20%) 에 속하는 사례의 백분율이 포함되었습니다. 실패 (구문 분석 불가 출력) 는 종단 간 신뢰성을 반영하기 위해 >20% 오차 구간에 포함되었습니다.

주요 기여

1. 벤치마크 설계: 본 논문은 알고리즘과 테스트 네트워크를 일정하게 유지하면서 고전적 반복 AC 전력 흐름 솔버에 대한 프롬프트 형식을 체계적으로 변화시킨 최초의 통제된 연구를 제시합니다.
2. 프롬프트 민감도 분석: 연구는 프롬프트 엔지니어링 효과가 모델에 크게 의존함을 보여줍니다. 가장 성능이 우수한 모델 (Gemini 2.5 Pro) 의 경우 프롬프트 복잡성을 높이는 것 (내러티브에서 반복 추적이 포함된 구조화된 JSON 으로 이동) 이 성능을 현저히 저하시켜 MAE 를 3.1 배 증가시켰습니다. 반면, 풀이 예시를 추가하는 것은 Gemini 의 성능을 저하시켰지만 Claude 에서는 미미한 개선을 제공했습니다.
3. 능력 한계: 저자들은 테스트된 어떤 구성도 직접적인 수치 솔버로 사용하기에 충분한 신뢰성을 달성하지 못했다고 결론지었습니다. GPT-3.5 Turbo 는 모든 형식에서 최소 90% 의 사례에서 실패한 반면, 가장 성능이 우수한 구성 (간단한 내러티브 프롬프트를 사용한 Gemini) 도 5% 이내 상대 오차 사례가 54% 에 불과했습니다.

결과

• Gemini 2.5 Pro: 프롬프트 형식에 가장 넓은 민감도를 보였습니다. 가장 간단한 형식 (내러티브 - 최종) 이 가장 좋은 결과를 낳았습니다 (MAE = 0.257 MW/MVar; 54% 의 사례가 5% 오차 이내). 가장 복잡한 형식 (구조화 - JSON) 은 가장 나쁜 성능을 보였습니다 (MAE = 0.789). 풀이 예시를 추가하면 오차가 73% 증가했습니다.
• Claude Sonnet 4.5: 프롬프트 구조와 관계없이 모든 형식에서 거의 평탄한 정확도 프로파일을 보였으며, 약 38% 의 사례가 5% 오차 이내였습니다. 절차적 - 텍스트 형식은 Gemini 보다 Claude 에게 약간 더 잘 수행되어 최적의 프롬프팅이 모델별임을 시사합니다.
• GPT-3.5 Turbo: 모든 형식에서 90–96% 의 사례가 20% 초과 상대 오차를 보이며 거의 완전한 무효성을 입증했습니다.
• 유효 전력 vs 무효 전력: 대부분의 구성에서 무효 전력 ($Q_g$) 오차가 유효 전력 ($P_g$) 오차를 초과하는 일관된 비대칭성이 관찰되었으며, 이는 훈련 데이터에서 허수부 추출의 표현이 덜 빈번했기 때문일 수 있습니다.
• 복제: 100 케이스 복제는 질적 순서 (Gemini $\gg$ Claude > GPT-3.5) 와 솔버 등급 정확도의 부재를 확인했습니다. 그러나 더 큰 표본에서 Gemini 의 최적 형식이 내러티브에서 절차적 - 텍스트로 변경되어 인스턴스 난이도나 표본 추출 변동성에 대한 민감성을 시사합니다.

의의 및 주장
본 논문은 LLM 이 설명, 질의응답과 같은 고수준 계통 작업에서는 유망한 모습을 보이지만, 현재 전력 흐름의 직접적인 수치 계산을 위해 필요한 신뢰성은 부족하다고 결론지었습니다. 이러한 발견은 프롬프트 엔지니어링 분야에서 "더 명시적이고 구조화된 지침을 제공하는 것이 항상 산술 정확도를 향상시킨다"는 일반적인 가정에 도전합니다. 이 분야에서는 더 간단한 프롬프트가 가장 성능이 우수한 모델에게 더 나은 결과를 낳았습니다.

저자들은 이 작업을 실무자와 연구자를 위한 진단적 베이스라인으로 위치시킵니다. 주요 함의는 스마트 계통 의사결정 지원에 LLM 을 배포할 때 특정 모델에 기반하여 프롬프트 형식을 신중하게 보정해야 한다는 점이며, "더 자세한 프롬프팅"이 역효과를 낼 수 있다는 것입니다. 또한, 이 연구는 현재 LLM 구성은 생산 환경에서 기존 수치 솔버를 대체하는 용도로 사용해서는 안 되지만, 근사 추론 보조도구나 교육 도구로는 활용될 수 있다고 주장합니다.