Evaluating the scientific rigour of climate scenario analysis: LLM-assisted evidence from New Zealand’s mandatory disclosures

기술 요약: 뉴질랜드 기후 시나리오 분석의 과학적 엄밀성 평가

문제 제기
글로벌 금융 안정성은 기후 변화로 인해 점점 더 큰 위협을 받고 있으며, 이는 일련의 의무적 기후 관련 재무 공시(예: TCFD, IFRS S1/S2, EU CSRD)를 촉발했습니다. 뉴질랜드(NZ)는 이러한 규제적 전환을 선도하며, 약 200개의 대형 기업(기후 보고 엔티티, CRE)이 2023년 1월 1일부터 서로 다른 시나리오에 따른 기후 탄력성을 공시하도록 법적으로 의무화했습니다. 그러나 규제 준수와 진정한 과학적 유용성 사이에는 심각한 간극이 존재합니다. 기업들은 이러한 공시를 생성하기 위해 상당한 비용(엔티티당 최대 NZ$200만)을 지출하고 있지만, 그 기초가 되는 시나리오 분석의 과학적 엄밀성은 검증되지 않은 상태입니다. 이 공시들이 단순히 서사적인 "체크박스 채우기(box-ticking)" 행위로 전락하여 그린워싱, 기후 과학의 오해, 또는 서로 다른 모델과 데이터 소스가 혼재되는 "내부 불일치"에 취약해질 위험이 있습니다. 또한, 과학적 근거를 검증하기 위해 수백 개의 복잡하고 다량의 페이지로 구성된 문서를 수동으로 감사하는 것은 규제 기관과 투자자에게 운영상의 병목 현상을 초래합니다.

방법론
본 연구는 뉴질랜드의 첫 두 차례 의무 보고 기간(FY23/24 및 FY24/25)의 과학적 엄밀성을 감사하기 위해 새로운 대규모 언어 모델(LLM) 지원 프레임워크를 채택합니다.

• 샘플: 연구진은 금융 및 비금융 부문의 173개 고유 보고 엔티티로부터 추출한 227개의 기후 성명서 데이터셋을 수집하고 필터링했습니다.
• 평가 프레임워크: 기후 과학, 금융, 적응 분야의 전문가들로 구성된 다학제 팀이 시나리오 분석을 평가하기 위한 13개의 구체적인 질문 매트릭스를 개발했습니다. 이 질문들은 시나리오 명칭, 온도 목표, 데이터 제공자, 기준 가정, 그리고 물리적 모델과 경제적 모델의 통합과 같은 핵심 요소들을 겨냥합니다.
• LLM 아키텍처: 본 연구는 Anthropic의 Claude 3.5 Sonnet을 기반으로 하는 에이전틱 검색 증강 생성(Agentic Retrieval-Augmented Generation, RAG) 파이프라인을 활용했습니다.
  • 데이터 처리: 문서는 PyMuPDF와 Tesseract OCR를 사용하여 파싱되었으며, Qdrant 벡터 데이터베이스에 저장되는 계층적 "small-to-big" 청킹 전략(2,000-토큰 부모 청크에 연결된 400-토큰 자식 청크)을 통해 처리되었습니다.
  • 에이전틱 워크플로우: 경직된 선형 RAG 파이프라인과 달리, 시스템은 다회차 추론이 가능한 반복적이고 도구 중심적인 에이전트를 사용했습니다. 에이전트는 암시적이거나 비선형적으로 분포된 정보(예: 특정 모델링 가정)를 찾기 위해 검색 쿼리를 동적으로 조정했습니다.
  • 출력 구조: 에이전트는 답변, 정확한 텍text 인용구, 위치 포인터, 이상 로그, 그리고 신뢰도 지표(높음/낮음)를 포함하여 13개 질문 각각에 대해 구조화된 데이터를 출력하도록 엄격한 시스템 프롬프트에 의해 제약되었습니다.
• 검증: 신뢰성을 보장하기 위해, 자동화된 파이프라인은 13개의 공시 문서를 수동 감사하여 도출한 인간 주석 기반의 "그라운드 트루스(ground truth)"와 벤치마킹되었습니다. 시스템은 91%의 정확한 일치율(부분 일치 포함 시 93%)을 달성했으며, 실패는 주로 명시적 텍스트 추출보다는 복잡한 해석적 과업에서 발생했습니다.

주요 결과
227개의 공시를 분석한 결과, 현재 기후 보고의 상태에서 나타나는 중요한 구조적 역설들이 드러났습니다.

1. 정량화보다 서사가 지배적임: 공시는 분량 면에서는 매우 포괄적이지만(평균 약 47페이지), 압도적으로 서사적입니다. 정량적 지표는 전체 글자 수의 약 2.1%만을 차지합니다. 금융 엔티티는 비금융 엔티티에 비해 더 부정적이고 신중한 어조를 사용하는 경향이 있으나, 두 부문 모두 텍스트 중심적입니다.
2. 파편화되고 일관성 없는 방법론: 모든 엔티티가 세 가지 시나리오 의무(1.5°C, ≥3°C, 그리고 제3의 경로)를 준수하고 있지만, 기초가 되는 분류 체계는 매우 파편화되어 있습니다. 기업들은 명확한 구조적 논리 없이 국제 제공자(IPCC, NGFS)와 지역 기관(CCC, NIWA)의 시나리오를 빈번하게 "골라 섞는(pick-and-mix)" 방식을 취하고 있습니다.
3. 과학적 엄밀성 및 기준점 결여:
   • **68%**의 공시가 기준 시나리오를 명시적으로 밝히지 않았습니다.
   • 데이터 애그리게이터(예: S&P Trucost, NGFS)와 일차적 모델링 아키텍처(예: CMIP6, GCAM과 같은 IAM)를 혼동하는 사례가 광범위하게 나타납니다.
   • 명시적인 거시경제적 전달 모델링(예: 계산 가능한 일반 균형 모델, CGE 모델)은 거의 전무합니다.
   • 엔티티들은 종종 구조적 시나리오 기준점과 국지적 물리 모델링 기준점(예: 역사적 데이터)을 혼동하여 "내부 불일치"를 야기합니다.
4. LLM 성능 및 한계: 에이전틱 RAG 시스템은 분석을 성공적으로 확장했으나 특정 실패 모드 또한 부각시켰습니다. 모델은 복잡한 영역(예: 기준점 식별)에서 내부 신뢰도 점수와 실제 검색 성공률 사이에 음의 상관관계를 보였습니다. 시스템은 데이터가 누락되었을 때 단순히 "찾을 수 없음"이라고 표시하기보다, 자주 "낮은 신뢰도의 주장"이나 방어적인 근거를 생성했는데, 이는 프롬프트 엔지니어링만으로는 비정형 데이터에서의 환각(hallucination)을 제거할 수 없음을 보여줍니다.

주요 기여

• 최초의 체계적 감사: 본 연구는 의무 보고 체제 하에서 기업의 기후 시나리오 분석의 과학적 엄밀성을 체계적으로 평가한 최초의 사례 중 하나를 제공합니다.
• 자동화된 감사 프레임워크: 수백 개의 공시를 감사할 수 있는 LLM 지원 RAG 프레임워크를 입증함으로써, 글로벌 의무화가 확대됨에 따라 국제 규제 기관들이 활용할 수 있는 잠재적 도구를 제시합니다.
• "분석적 안개(Analytical Fog)"의 진단: 본 논문은 현재의 규제적 유연성이 다양한 데이터 소스와 결합하여, 비용이 많이 드는 공시가 자본 배분을 위한 비교 가능하고 과학적으로 근거 있는 데이터를 제공하지 못하는 "분석적 안개"를 만들어냈음을 식별했습니다.
• 에이전틱 RAG의 검증: 정책 분석을 위한 에이전틱 AI의 신뢰성과 경계 조건을 입증하며, 명시적 데이터에 대해서는 높은 정확도를 보이지만 복잡하고 암시적인 과학적 논리를 해석하는 데에는 상당한 어려움이 있음을 보여주었습니다.

의의 및 주장
본 논문은 뉴질랜드의 규제 프레임워크가 법적 준수는 성공적으로 강제했을지 모르나, 의도치 않게 "수행적(performative)" 준수 루프를 조장했다고 주장합니다. 서사적 스타일에 갇혀 있고 방법론이 일관되지 않은 현재의 공시들은 TCFD 및 IFRS 표준이 의도한 시장 투명성과 자본 배분의 효율성을 제공하지 못합니다.

저자들은 물리적 기후 과학과 금융 의사결정 사이의 괴리가 현재의 공시를 더욱 악화시킨다고 주장합니다. 이들은 표준화되고 기계 판독이 가능한 보고와 물리적 모델과 경제적 모델의 명시적 결합으로의 전환이 이루어지지 않는다면, 자동화된 감사 시스템은 단지 "빈 서사(empty narrative)"를 추출하는 규모만 키울 뿐이라고 경고합니다. 결론적으로, LLM의 배치는 만능 해결책이 아니며, 오히려 불확실성을 증폭시키고 금융 시스템의 부적응(maladaptation) 위험을 방지하기 위해 소스 단계에서의 엄격한 데이터 표준화가 필요함을 드러내는 도구임을 강조합니다.