🤖 AI

How Do Tool-Augmented LLM Agents Perform on Real-World Energy Analytics Tasks?

본 논문은 실시간 데이터 검색부터 정량적 모델링에 이르기까지 전문가가 선별한 243개의 실제 에너지 시장 분석 태스크를 대상으로, 모델의 역량과 도메인 특화 도구가 고위험 전문 환경에서 어떻게 상호작용하는지를 다차원적 점수 산정 프로토콜을 통해 평가함으로써 도구 증강형 LLM 에이전트의 성능을 검증하는 경험적 연구를 제시한다.

원저자: David Akinpelu, Akintonde Abbas, Rereloluwa Alimi, Ayodeji Lana

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David Akinpelu, Akintonde Abbas, Rereloluwa Alimi, Ayodeji Lana

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

에너지 산업(전력 시장, 규제, 전력망)을 거대한, 혼란스러운 도서관이라고 상상해 보십시오. 이곳의 책들은 끊임없이 변하고, 가격은 투명한 잉크로 쓰여 있으며, 규칙들은 오직 소수의 전문가들만이 이해할 수 있는 언어로 기록되어 있습니다.

오랫동안 인공지능(AI)은 도서관의 목록을 완벽하게 암기할 수는 있지만, 실제로 책을 찾아가거나, 세부 조항을 읽거나, 발전소가 돈을 벌고 있는지 계산하기 위해 수학을 수행할 수는 없는 매우 똑똑한 학생과 같았습니다.

**"도구 증강 LLM 에이전트는 실제 에너지 분석 작업에서 어떻게 수행되는가?(How Do Tool-Augmented LLM Agents Perform on Real-World Energy Analytics Tasks?)"**라는 제목의 이 논문은 새로운 종류의 AI 학생에 대한 성적표입니다. 이 학생들은 단순히 사실을 암기하는 것에 그치지 않고, 실시간 데이터를 가져오고, 실제 규정을 읽고, 복잡한 재무 모델을 실행할 수 있는 도구 상자(열쇠, 계산기, 검색 엔진 같은 세트)를 갖추고 있습니다.

연구자들이 무엇을 했고 무엇을 발견했는지, 쉬운 비유를 통해 정리해 드립니다.

1. 테스트: "실제 세상" 장애물 경기

연구자들은 AI에게 단순히 "텍ekas의 수도는 어디인가?"와 같은 (암기하기 쉬운) 상식 질문을 던지지 않았습니다. 대신 그들은 수십 년의 경력을 가진 실제 에너지 전문가들이 설계한 243개의 질문으로 구성된 장애물 경기를 만들었습니다.

이 경기는 세 가지 유형의 도전 과제로 구성되었습니다:

탐정 (데이터 검색): "지난주 화요일 오후 2시 휴스턴의 전력 가격을 찾아라."
변호사 (지식 해석): "이 50페이지짜리 정부 규정집을 읽고, 배터리 회사가 그리드에 연결하기 위해 정확히 얼마를 지불해야 하는지 말하라."
회계사 (정량적 모델링): "여기에 배터리를 설치하고, 만약 전력 가격이 15년 동안 이렇게 변동한다면, 나는 수익을 낼 수 있을까? 정확한 숫자를 계산하라."

과제는 쉬움(숫자 찾기)부터 어려움(엄격한 규칙이 적용된 다단계 재무 퍼즐 풀기)까지 다양했습니다.

2. 참가자: 7명의 AI "두뇌"

그들은 7개의 서로 다른 AI 모델(OpenAI나 Google 같은 빅테크 기업의 모델과 오픈 소스 모델 포함)을 테스트했습니다.

설정: 이 AI들에게 9개의 특정 도구가 들어있는 "배낭"을 주었습니다. 이 도구들에는 전력 시장에 대한 실시간 연결, 유틸리티 요금 데이터베이스, 수학 계산을 위한 코드 실행기가 포함되었습니다.
규칙: AI는 단순히 기억에 의존해 추측하는 것이 아니라, 이 도구들을 사용하여 문제를 해결해야 했습니다.

3. 채점 방식: 단순히 "맞다/틀리다"가 아닌 것

연구자들은 단순히 최종 숫자가 맞는지 확인하는 데 그치지 않았습니다. 그들은 엄격한 선생님처럼 세 가지 항목으로 AI를 채점했습니다.

접근 방식 (전문가처럼 생각했는가?): 올바른 도구를 선택하고 올바른 순서로 사용했는가? 만약 AI가 데이터를 직접 찾는 대신 추측하여 정답을 맞혔다면 점수를 잃었습니다.
정확성 (사실을 제대로 파악했는가?): 숫자가 정확한가? 올바른 시간대와 올바른 주를 사용했는가?
출처 타당성 (속임수를 썼는가?): 실제 문서를 인용했는가, 아니면 가짜 규정집을 만들어냈는가?

4. 결과: 잘된 점, 잘못된 점, 그리고 "거의 다 된" 점

AI가 테스트를 치렀을 때 다음과 같은 결과가 나왔습니다.

"가장 똑똑한" 학생들: 폐쇄형 모델(예: Gemini-1.5-Pro 및 GPT-4o)이 가장 우수한 성능을 보였으며, 약 **60%**의 정답률을 기록했습니다. 가장 뛰어난 오픈 소스 모델(Kimi-k1.5)은 약 **49%**를 기록했습니다.
- 함정: 가장 우수한 학생조차 거의 절반의 문제를 틀렸습니다. 이는 AI가 도움이 되긴 하지만, 아직 인간 전문가를 대체할 준비는 되지 않았음을 의미합니다.
"계획 vs 실행"의 격차: 흥ably하게도, AI들은 계획을 세우는 데는 꽤 능숙했습니다("접근 방식"에서 높은 점수 획득). 그들은 어떤 도구를 골라야 할지는 알고 있었습니다. 하지만 계획을 완벽하게 실행하는 데는 자주 실패했습니다(잘못된 숫자나 날짜를 제시함). 이는 마치 어떤 재료를 사야 할지는 정확히 알지만, 스테이크를 굽다가 태워 먹는 요리사와 같습니다.
"환각(Hallucination)" 문제: AI들은 출처를 밝히는 데 형편없었습니다. "이 내용은 2024년 규정집에서 찾았습니다"라고 말하는 것을 자주 잊거나, 가짜 문서 이름을 만들어내기도 했습니다. 현실 세계에서, 데이터의 출처를 증명할 수 없다면 그 답변을 신뢰할 수 없습니다.
"도구"의 효과: 연구자들이 도구를 빼앗고 AI에게 기억만으로 문제를 풀게 했을 때, 점수는 절반으로 떨어졌습니다. 이는 에너지 관련 작업에서 단순히 똑똑한 두뇌를 갖는 것보다 도구를 갖는 것이 더 중요하다는 것을 입증합니다.
"기억"의 한계: 일부 모델은 질문이 너무 길고 복잡해서 "단기 기억"(컨텍스트 윈도우)이 가득 차는 바람에 실패했습니다. 마지막 단계에 도달했을 때쯤이면 문제의 첫 단계를 잊어버린 것입니다.

5. 핵심 결론

이 논문은 AI 에이전트는 강력한 조수이지만, 아직 독립적인 전문가는 아니다라고 결론짓습니다.

이것은 마치 주니어 분석가가 초고속 컴퓨터와 전 세계 모든 도서관에 접근할 수 있는 권한을 가진 것과 같습니다. 그들은 힘든 일을 대신 해주고 데이터를 빠르게 찾아낼 수 있습니다. 하지만 그들의 작업이 맞는지, 규칙을 지어내지는 않았는지, 최종 수학 계산이 맞는지 확인하기 위해 여전히 시니어 전문가(인간)의 검토가 필요합니다.

연구자들은 다른 과학자들이 미래를 위한 더 나은 "학생"을 만들 수 있도록 모든 테스트 질문, 도구, 결과를 공개했습니다. 그들은 다음 라운드에서 이 테스트를 다른 국가와 다른 종류의 에너지(석유나 가스 등)로 확장할 계획입니다.

기술 요약: 도구 증강 LLM 에이전트는 실제 에너지 분석 작업에서 어떻게 수행되는가?

문제 정의

에이전트 벤치마크가 금융, 코딩, 법률, 신약 개발 등의 분야에서는 성숙 단계에 접어들었으나, 에너지 부문은 여전히 심각하게 소외되어 있다. 기존의 에너지 분야 평가는 주로 정적인 지식 회상(예: 객관식 질문)이나 과거 데이터를 이용한 부하 예측과 같은 예측 작업에 국한되어 있다. LLM 에이전트가 엔드 투 엔드(end-to-end) 방식의 다단계 분석 워크플로우를 실제 제약 조건 하에서 실행할 수 있는지 평가하는 데에는 상당한 격차가 존재한다. 이러한 워크플우는 ISO/RTO 시장으로부터의 실시간 데이터 검색, 복잡한 규제 문서의 해석, 그리고 자산 최적화를 위한 정량적 모델링을 요구하며, 이는 오류 발생 시 막대한 재무적 및 운영적 결과를 초래할 수 있는 작업들이다. 현재의 벤치마크는 고도의 전문성이 요구되는 환경에서 모델의 능력과 도메인 특화 도구 간의 상호작용을 평가하는 데 실패하고 있다.

방법론

저자들은 도구 증강 LLM 에이전트를 실제 에너지 분석 작업에 대해 평가하기 위해 설계된 경험적 연구 및 평가 프레임워크인 EnergyEvals를 소개한다.

1. 벤치마크 데이터셋

본 연구는 박사급 교육을 받고 업계 경력이 총 25년 이상인 전문가들(예: McKinsey, GE, ICF 출신)이 개발한 243개의 전문가 큐레이션 작업 코퍼스를 활용한다. 각 작업은 세 가지 역량 영역과 세 가지 난이도(Easy, Medium, Hard)로 계층화되어 있다:

시장 데이터 검색 및 분석 (Data): 주요 ISO/RTO API로부터 실시간 가격, 보조 서비스 및 급전 데이터를 추출하고 집계함.
지식 검색 및 해석 (Knowledge): 절차적 질문에 답하기 위해 규제 공고(dockets), 유틸리티 요금표, 상호 연결 매뉴얼 등을 탐색함.
고급 정량 모델링 (Quant): 배터리 수익 추정, IRR 계산, 운영 제약 조건 하의 최적화 등 다단계 재무 모델링을 포함함.

독특한 설계 특징은 소스 명시 여부에 따른 스캐폴딩(scaffolding)의 영향을 평가하기 위해, 소스 사양을 명시한 버전과 명시하지 않은 버전으로 작업을 제공하는 **쌍을 이룬 프롬프트 구성(paired prompt construction)**이다.

2. 에이전트 아키텍처 및 도구 모음

에이전트는 반복적인 추론과 도구 호출을 허용하는 ReAct 프레임워크(Thought $\to$ Action $\to$ Observation)를 사용하여 구현된다. 환경은 다음을 포함한 9개의 도메인 특화 도구로 구성된 설정 가능한 도구 모음을 제공한다:

주요 미국 ISO를 위한 실시간 전력 시장 API.
규제 공고 검색 및 유틸리티 요금표 데이터베이스.
자산 최적화 모델 (예: 배터리 수익, 재생 에너지 발전 시뮬레이션).
시장 문서에 대한 검색 증강 생성(RAG).

3. 평가 프로토콜

성능은 전문가 검토와 함께 보정된 LLM-as-a-judge 프레임워크를 통해 세 가지 차원에서 다차원적으로 평가된다:

접근 방식의 정확성 (Approach Correctness, 1–5): 도구 호출의 논리적 순서와 전문 분석가의 전략과의 일치 여부를 평가함.
답변 정확도 / 속성 일치도 (Answer Accuracy / Attribute Alignment, 0–1): 사실적 정확성과 제약 조건(시간적, 지리적, 단위) 준수 여부를 측정함. 정량적 작업의 경우 허용 오차 기반 비교를 사용하며, 정성적 작업의 경우 특정 속성 일치 여부를 확인함.
소스 유효성 (Source Validity, 1–5): 환각된 인용, 조작된 문서 버전 또는 부적절한 소스 의존성에 대해 감점을 부여함.

본 연구는 비용 제약이 있는 전문 환경을 시뮬레이션하기 위해 저추론 노력(low-reasoning-effort) 설정 하에서 7개의 프런티어 LLM(폐쇄형 4종: GPT-5.2, GPT-5-mini, Gemini-3.1-Pro, Claude Sonnet 4.6; 오픈소스 3종: Kimi-K2.5, Qwen3-Max-Thinking, DeepSeek-V3.2)을 평가한다.

주요 결과

7개 모델에 대한 평가 결과는 에너지 도메인 내 에이전트 시스템의 상태에 관한 몇 가지 중요한 통찰을 보여준다:

성능 격차: 폐쇄형 모델이 일반적으로 오픈소스 모델보다 우수한 성능을 보인다. Gemini-3.1-Pro가 가장 높은 정확도(62%)를 기록했으며, GPT-5.2(57%)와 Claude Sonnet 4.6(56%)이 그 뒤를 이었다. 가장 우수한 오픈소스 모델인 Kimi-K2.5는 49%를 기록했으나, 이는 GPT-5.2 비용의 58% 수준으로 훨씬 저렴한 비용으로 달성한 결과이다.
계획 대 실행 (Planning vs. Execution): 모델들은 일반적으로 합리적인 접근 방식의 정확성(5점 만점에 약 3.4–3.9점)을 보여주지만, 유효한 분석 전략을 제안하는 것과 이를 높은 정확도로 실행하는 것 사이에는 뚜렷한 격차가 존재한다. 이는 모델이 문제를 해결하는 방법에 대해서는 추론할 수 있지만, 신뢰할 수 있는 실행을 위해서는 워크플로우를 구조화하고 데이터를 검증하기 위한 더 깊은 도메인 지식이 필요함을 시사한다.
소스 유효성 결핍: 소스 인용 점수는 모든 모델에서 전반적으로 낮게 나타났다. 모델들은 빈번하게 소스를 인용하지 못하거나 문서 버전을 환각하여 제시했는데, 이는 신뢰할 수 있는 소스 참조가 아직 창발적 행동으로 나타나지 않았으며 명시적인 프롬프팅이나 전문가의 가이드가 필요함을 나타낸다.
컨텍스트 윈도우의 영향: 컨텍스트 윈도우가 짧은 모델(예: DeepSeek-V3.2, Kimi-K2.5)은 컨텍스트 제한이나 명료화 루프(clarification loops)로 인해 훨씬 높은 실패율(최대 20.2%)을 보인 반면, 큰 컨텍스트 윈도우(400k+ 토큰)를 가진 모델들은 실패율을 3.2% 미만으로 유지했다.
도구의 필수성: 도메인 특화 도구를 제거하면 성능이 급격히 저하된다. 일부 사례에서는 에이전트가 실시간 도구 대신 내부 지식에 의존하도록 강제되었을 때 정확도가 절반으로 떨어졌으며, 이는 에너지 분석에서 외부 데이터 검색의 결정적인 의존성을 강조한다.
토큰 효율성: 높은 토큰 사용량이 더 나은 성능과 상관관계를 갖지는 않았다. 일부 저성능 모델은 훨씬 더 많은 토큰을 소비한 반면, 상위 모델들의 효율성은 다양하게 나타났다.

의의 및 주장

본 논문은 EnergyEvals가 정적인 회상을 넘어 동적이고 다단계적인 문제 해결로 나아가는, 실제 에너지 분석 워크플로우를 엄격하게 평가하는 최초의 도구 증강 에이전트 벤치마크라고 주장한다.

저자들은 도구 증강 에이전트가 특정 에너지 작업을 수행할 수는 있지만, "일반적으로 좋은" 성능과 "예외적으로 통찰력 있는" 결과를 맺기 위해서는 전문가의 가이드가 필수적이라고 단언한다. 본 연구는 현재의 프런처 모델들이 도구를 갖추고 있더라도, 인간의 개입(human-in-the-loop) 없이는 소스 유효성과 복잡한 워크플로우 오케스트레이션 측면에서 어려움을 겪는다는 점을 강조한다.

본 연구는 재현성을 지원하기 위해 공개된 데이터셋, 평가 프레임워크, 스코어링 코드 및 실행 트레이스를 제공한다. 저자들은 이를 기초적인 단계로 규정하며, 향-후 미국 이외의 지역으로 지리적 범위를 확장하고, 추가적인 에너지 서브 도메인을 다루며, 더 높은 추론 설정을 탐구할 계획이다.