ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge

이 논문은 ESG 및 지속 가능성 분야에 특화된 대규모 언어 모델 (LLM) 의 능력을 평가하고 향상시키기 위해, 전문가 검증을 거친 1,136 개의 질문과 231 개의 핵심 문서로 구성된 'ESGenius'라는 최초의 종합 벤치마크를 소개하고, 이를 통해 RAG(검색 증강 생성) 방식이 특히 소형 모델의 성능을 크게 향상시킨다는 것을 입증했습니다.

핵심

ESGenius: AI 가 환경과 사회 문제를 얼마나 잘 이해하는지 시험하는 '최고의 시험지'

안녕하세요! 오늘 소개해 드릴 논문은 **'ESGenius(에스제니우스)'**라는 이름의 새로운 프로젝트에 대한 것입니다. 이 프로젝트는 거대 인공지능 (LLM) 이 **환경 (E), 사회 (S), 지배구조 (G)**라는 복잡한 주제를 얼마나 잘 이해하고 답할 수 있는지 테스트하는 **'최고 수준의 시험지'**를 만들었습니다.

이 내용을 일상적인 언어와 재미있는 비유로 설명해 드릴게요.

---

1. 왜 이런 시험이 필요할까요? (배경)

지금까지 AI 는 뉴스 요약이나 시 쓰기, 간단한 질문에는 아주 잘 답했습니다. 하지만 'ESG(지속 가능성)' 같은 전문적인 분야는 다릅니다.

• 비유: AI 가 일반 상식 퀴즈는 잘 풀지만, **'의사 면허 시험'**이나 **'변호사 자격증 시험'**을 치르라고 하면 어떨까요?
• 문제점: ESG 는 기후 변화, 노동 권리, 기업 투명성 등 매우 복잡하고 정확한 지식이 필요한 분야입니다. AI 가 엉뚱한 답을 내거나, 중요한 규정을 잘못 이해하면 기업이 큰 법적 문제를 겪거나 환경을 파괴할 수도 있습니다.
• 현재 상황: 그런데 AI 가 이 분야에서 얼마나 똑똑한지, 혹은 얼마나 멍청한지 측정할 **'공식 시험지'**가 없었습니다. 마치 운전면허 시험지 없이 운전 실력을 평가하려는 것과 비슷합니다.

2. ESGenius 는 무엇인가요? (해결책)

연구팀은 ESGenius라는 프로젝트를 통해 두 가지 핵심 도구를 만들었습니다.

① ESGenius-Corpus (교과서 도서관)

• 비유: 이 도서관에는 **231 권의 '진짜 교과서'**가 꽂혀 있습니다.
• 내용: IPCC(기후 변화 보고서), GRI(환경 보고 기준), SASB(지속 가능성 회계 기준) 등 전 세계적으로 인정받는 권위 있는 문서 231 개를 모았습니다. 총 분량은 약 19,600 페이지나 됩니다.
• 역할: AI 가 답을 찾을 때 참고할 수 있는 '정답의 근거'가 되는 자료입니다.

② ESGenius-QA (시험 문제집)

• 비유: 교과서를 바탕으로 만든 **1,136 개의 '고난도 객관식 문제'**입니다.
• 특징:
  • 단순히 "기후 변화가 뭐야?" 같은 쉬운 문제가 아닙니다. "A 상황과 B 상황을 비교했을 때, 어떤 정책이 가장 효과적인가?"처럼 깊은 사고와 추론이 필요한 문제들입니다.
  • 전문가의 검수: AI 가 문제를 만들었지만, ESG 전문가 6 명이 "이 문제는 정말 어렵고 정확한가?"를 꼼꼼히 검증했습니다. (약 25% 는 버려질 정도로 엄격했습니다.)
  • 정답의 근거: 모든 문제에는 "이 답은 2023 년 IPCC 보고서 150 페이지에 근거합니다"라고 정확한 출처가 연결되어 있습니다.

3. 어떻게 시험을 치렀나요? (실험 방법)

연구팀은 50 개의 다양한 AI 모델 (0.5 억 개 파라미터부터 6,710 억 개까지) 을 이 시험지에 응시시켰습니다. 두 가지 방식으로 테스트했습니다.

1. 기억력 시험 (Zero-Shot):

   • 상황: 교과서 없이, AI 가 자신의 머릿속에 있는 지식만으로 답하게 합니다.
   • 결과: 대부분의 AI 가 55~70% 정도의 점수를 받았습니다. 최고 점수인 72% 도 나왔지만, 여전히 전문가 수준에는 미치지 못했습니다. 즉, AI 는 ESG 지식에 대해 **'아직 많이 부족하다'**는 뜻입니다.

2. 열람 시험 (RAG - 검색 기반 생성):

   • 상황: AI 가 문제를 풀 때, **ESGenius-Corpus(교과서 도서관)**에서 관련 문서를 찾아보고 답하게 합니다.
   • 결과: 놀라운 변화가 일어났습니다!
     • 작은 AI 가 대박: 무겁고 비싼 거대 AI 보다, 작은 AI 모델이 교과서를 찾아보면서 훨씬 더 높은 점수를 받았습니다.
     • 예시: 어떤 14B(140 억 파라미터) 모델은 기억력 시험에서 63% 를 받다가, 교과서를 찾아보면서 80% 이상으로 점수가 급상승했습니다.
   • 교훈: AI 가 무조건 크고 똑똑한 것보다, 올바른 정보를 찾아서 근거를 들어 말하는 것이 ESG 분야에서는 훨씬 중요합니다.

4. 이 연구의 핵심 메시지 (결론)

이 논문의 결론은 매우 명확합니다.

• AI 는 아직 ESG 전문가가 아닙니다: 현재 AI 는 환경과 사회 문제에 대해 스스로 알고 있는 지식만으로는 신뢰할 수 없는 답을 내놓을 확률이 높습니다.
• '근거'가 생명입니다: AI 가 ESG 문제를 다룰 때는 반드시 **권위 있는 문서 (교과서)**를 참조해야 합니다. 검색을 통해 근거를 제시하게 하면, 작은 AI 도 큰 AI 를 이길 수 있습니다.
• 열린 장터: 연구팀은 이 시험지 (문제집) 와 교과서 (자료) 를 전 세계에 무료로 공개했습니다. 누구나 이 시험지를 통해 AI 의 ESG 능력을 평가하고, 더 나은 AI 를 만들 수 있도록 돕는 것입니다.

요약: 한 문장으로 정리하면?

"ESGenius 는 AI 에게 '환경과 사회'라는 어려운 시험을 치르게 하여, AI 가 스스로 아는 것만으로는 부족하고, 반드시 정확한 문서 (교과서) 를 찾아 근거를 들어 답해야만 신뢰할 수 있다는 사실을 증명했습니다."

이 연구는 앞으로 AI 가 기업의 지속 가능성 보고서를 분석하거나, 기후 변화 정책을 제안할 때 실수를 줄이고 신뢰를 높이는 데 큰 기여를 할 것입니다.

기술 요약

1. 문제 정의 (Problem)

환경, 사회, 지배구조 (ESG) 및 지속가능성 분야는 기후 변화, 노동 권리, 기업 거버넌스 등 매우 방대하고 역동적인 지식을 요구합니다. 현재 대규모 언어 모델 (LLM) 은 복잡한 ESG 문서를 처리하고 사용자의 질문에 답변하는 데 잠재력을 보이고 있지만, 이러한 전문적이고 학제 간 (interdisciplinary) 인 영역에서의 LLM 능력은 체계적으로 평가되지 않았습니다.

• 지식 격차: ESG 관련 잘못된 답변은 심각한 규정 위반이나 잘못된 지속가능성 이니셔티브로 이어질 수 있어 고위험 (high-stakes) 영역입니다.
• 평가 도구 부재: 기존 QA 벤치마크들은 ESG 주제를 완전히 생략하거나 피상적으로만 다루고 있어, LLM 의 ESG 개념 이해도 및 추론 능력을 정밀하게 측정할 수 있는 표준화된 도구가 없었습니다.

2. 방법론 (Methodology)

저자들은 ESG 지식 평가를 위한 포괄적인 벤치마크인 ESGenius를 제안하며, 이는 크게 두 가지 핵심 구성 요소와 평가 프로토콜로 이루어집니다.

A. ESGenius 구성 요소

1. ESGenius-Corpus (지식 코퍼스):
   • 7 개의 권위 있는 출처 (GRI, SASB, TCFD, ISSB, CDP, IPCC, UN SDGs) 로부터 수집된 231 개의 기본 프레임워크, 표준, 보고서, 권고 문서로 구성됩니다.
   • 총 약 19,600 페이지 분량의 텍스트를 포함하며, 기후 과학 (IPCC) 에서부터 산업별 보고 표준 (SASB, IFRS) 까지 ESG 의 전 주제를 아우릅니다.
2. ESGenius-QA (질문 - 답변 데이터셋):
   • **1,136 개의 다중 선택형 질문 (MCQ)**으로 구성됩니다.
   • 생성 및 검증 프로세스: LLM(Qwen-max) 을 사용하여 후보 질문을 생성한 후, ESG 분야 전문가 6 명이 이중 검증 (double-validation) 을 통해 사실적 정확성, 명확성, 오답의 설득력 등을 rigorously 검증했습니다.
   • 특징: 각 질문은 정답을 뒷받침하는 구체적인 출처 텍스트 (페이지 및 발췌문) 와 명시적으로 매핑되어 있어, 투명성 평가와 RAG(검색 증강 생성) 적용이 가능합니다. 또한, 모델의 불확실성을 측정하기 위해 "Not sure (Z)" 옵션이 포함되어 있습니다.

B. 평가 프로토콜

LLM 의 능력을 종합적으로 평가하기 위해 두 가지 시나리오로 실험을 수행했습니다.

1. Zero-Shot (제로샷): 외부 지식 없이 모델의 내재된 ESG 지식과 추론 능력을 평가.
2. RAG (검색 증강 생성): ESGenius-Corpus 에서 관련 문서를 검색하여 프롬프트에 포함시킨 후, 모델이 근거 기반 (grounded) 으로 답변하는 능력을 평가.

3. 주요 기여 (Key Contributions)

1. 최초의 포괄적인 ESG 벤치마크: ESG 및 지속가능성 지식을 엄격하게 평가하기 위해 설계된 최초의 대규모 QA 벤치마크를 공개했습니다.
2. 전문가 검증 데이터셋: LLM 생성과 인간 전문가의 엄격한 검증을 결합하여, 1,136 개의 고품질 MCQ 와 이를 뒷받침하는 231 개의 출처 문서를 공개했습니다.
3. 대규모 모델 평가: 0.5B 에서 671B 파라미터까지 크기가 다른 50 개의 다양한 LLM(Open Source 및 Proprietary API 포함) 을 평가하여 성능 비교 데이터를 제공했습니다.
4. 오픈 소스 및 대화형 리더보드: 전체 데이터셋, 코드, 평가 스크립트를 GitHub 에 공개했으며, 실시간 리더보드와 히트맵 시각화 도구를 통해 연구자들이 모델 성능을 추적하고 개선할 수 있는 환경을 마련했습니다.

4. 실험 결과 (Results)

50 개의 LLM 을 대상으로 한 실험 결과는 다음과 같은 중요한 통찰을 제공했습니다.

• Zero-Shot 성능의 한계:
  • 최상위 모델 (o3) 이 **72.54%**의 정확도를 기록했으나, 대부분의 모델은 55~70% 범위의 중간 수준의 성능만 보였습니다. 이는 현재 LLM 이 복잡한 ESG 개념을 정확히 이해하고 추론하는 데 여전히 어려움을 겪고 있음을 시사합니다.
  • 모델 크기와 성능 간에는 moderate 한 양의 상관관계가 있었으나, 크기만으로 ESG 전문성을 보장하지는 못했습니다.
• RAG 의 혁신적 효과:
  • RAG 도입 시 성능이 획기적으로 향상되었습니다. 특히 작은 모델들이 큰 모델의 Zero-Shot 성능을 능가하는 경우가 많았습니다.
  • 예시: DeepSeek-R1-Distill-Qwen-14B 는 Zero-Shot(63.82%) 에서 RAG 적용 시 **80.46%**로 크게 향상되었습니다. Gemma-3-27B 는 21.65% 에서 52.29% 로 141% 이상의 상대적 개선을 보였습니다.
  • 이는 **권위 있는 출처에 기반한 답변 (Grounding)**이 ESG 영역에서 모델의 규모보다 더 결정적인 요소임을 보여줍니다.
• 추론 (Reasoning) 모델의 우위:
  • 명시적인 추론 능력을 갖춘 모델 (예: o3, DeepSeek-R1 계열) 이 일반 모델보다 Zero-Shot 및 RAG 환경에서 모두 더 높은 성능을 보였습니다.
• 오류 분석:
  • 모든 모델이 정답을 맞추지 못한 '적대적 (adversarial)' 질문들이 존재했으며, 이는 표면적인 키워드 매칭에 의존하거나 좁은 ESG 표준을 일반화된 정책 프레임워크로 잘못 추론하는 경향에서 비롯되었습니다.

5. 의의 및 중요성 (Significance)

• 신뢰할 수 있는 AI 의 기반 마련: ESG 분야는 오답 시 사회적, 법적, 재정적 리스크가 크기 때문에, ESGenius 는 LLM 이 신뢰할 수 있는 근거 (evidence) 에 기반하여 답변하도록 유도하는 중요한 도구입니다.
• RAG 의 필수성 강조: 연구 결과는 ESG 와 같은 전문 지식 영역에서는 모델의 단순한 규모 확장보다는 **권위 있는 문서 기반의 검색 증강 (RAG)**이 훨씬 효과적임을 입증했습니다.
• 연구 및 산업계 기여: 연구자와 실무자에게 ESG 지식 평가의 표준을 제공하고, 향후 ESG 관련 AI 시스템 개발 및 규제 준수 (Compliance) 도구 개발에 필수적인 벤치마크를 제공합니다.
• 지속 가능한 발전: ESG 지식의 정확성을 높이는 것은 기업의 지속가능성 보고와 투자 의사결정의 투명성을 높여, 궁극적으로 전 지구적 지속가능성 목표 (SDGs) 달성에 기여할 수 있습니다.

이 논문은 LLM 이 ESG 영역에서 어떻게 발전해야 하는지에 대한 청사진을 제시하며, **데이터의 질 (전문가 검증), 평가의 엄격성 (Zero-shot vs RAG), 그리고 결과의 투명성 (출처 매핑)**을 통해 신뢰할 수 있는 AI 개발의 새로운 기준을 제시합니다.