기술 요약: ESG 내러티브 스코어링에서 추론 집약적 LLM 배포의 제한적인 한계 효용

1. 문제 제기

기업의 지속가능성 보고서의 방대한 양과 이질성을 처리하기 위해 대규모 언어 모델(LLM)을 활용한 환경·사회·지배구조(ESG) 내러티브 공시 자동 점수화가 점점 보편화되고 있다. 그러나 핵심적인 운영 의문이 해결되지 않은 채 남아 있다. 즉, "추론 집약적(reasoning-heavy)" 프런티어 모델(표준 토큰과는 별도로 청구되는 명시적 사고 연쇄(chain-of-thought) 계산 예산을 사용하는 모델)이 그에 상응하는 높은 비용만큼의 가치를 제공하는가 하는 점이다.

현재 업계 관행은 복잡한 작업에는 더 많은 추론이 균일하게 더 나은 결과를 낳는다는 가정하에, 비사소한(non-trivial) 과업에 대해 이러한 추론 계층을 기본적으로 채택하는 경우가 많다. 본 연구는 ESG 스코어링과 같이 명시적인 루브릭(rubric)을 바탕으로 하는 **증거 추출형 구조(extractive evidentiary structure)**를 가진 작업에 대해 이러한 가정을 반박한다. 이러한 작업에서 정답은 일반적으로 문서 내의 식별 가능한 표면적 특징(스팬, span)에 대응하며(예: 정량적 목표의 존재 여부 또는 특정 프레임워크 참조), 이는 추가적인 추론 토큰의 한계 효용이 운영 비용에 비해 미미할 수 있음을 시사한다.

2. 방법론

2.1 데이터 및 범위

본 연구는 탄소 집약적 산업과 서비스 지향적 산업을 아우르는 10개 일본 상장 기업의 코퍼스를 활용한다. 각 기업별로 통합 연차 보고서, TCFD 준수 보충 공시, 그리고 독립적인 지속가능성 보고서에서 ESG 관련 텍스트 스팬을 추출하였다. 데이터셋은 기업당 평균 약 27.2개의 스팬으로 구성되며, 총 272개의 스팬을 포함한다.

스코어링 작업은 SNE(Substance–Narrative–Expectation) 프레임워크에서 도출된 세 가지 루브릭 축에 의해 정의된다:

• N1: 정량적 탄소 배출 감축 목표의 명시성.
• N2: 진척도 추적 인프라(KPI, 실제 수치, 제3자 검증).
• N3: 외부 프레임워크(예: SBTi, ISSB, TCFD)와의 정렬성.
  점수는 1~5 척도로 부여된다.

2.2 실험 설계: 4개 모델 컨센서스

본 연구는 추론의 영향을 평가하기 위해 4개 모델 컨센서스 설계를 채택한다:

1. 추론 활성화 그룹 (Reasoning-On Arm): reasoning_effort=full로 설정된 OpenAI의 gpt-5.5.
2. 추론 비활성화 그룹 (Reasoning-Off Arm): 명시적인 추론 예산 없이 기본 설정으로 실행되는 세 개의 동시대 모델:
   • Anthropic: claude-opus-4-7 (확장 사고 기능 비활성화).
   • Google: gemini-3.1-pro-preview.
   • DeepSeek: deepseek-v4-pro.

모든 모델은 동일한 파라미터(temperature=0, top_p=1.0, 최대 출력 16,000 토큰)로 호출되었으며, 정수 점수와 증거 스팬 목록을 요구하는 통일된 프롬프트를 사용하였다.

2.3 지표 및 분석

• 스코어링 비교: 추론 활성화 모델과 각 추론 비활성화 대응 모델 간의 절대 편차($|\Delta|$)를 120개의 데이터 포인트(10개 기업 $\times$ 3개 축 $\times$ 4개 모델)에 대해 계산한다.
• 합의 통계: 모델 간 합의도를 측정하기 위해 Cohen's quadratic-weighted $\kappa$와 Spearman's $\rho$를 산출한다.
• 비용 회계: 2026년 4월 실험 실행 시의 토큰 소비량(프롬프트, 완료, 추론 토큰)과 달러 비용을 기록하였다. 비용은 가상의 199개 기업 확산 시나리오로 추정되었다.

3. 주요 결과

3.1 스코어링 결과

추론 집약적 모델은 추론 비활성화 모델들의 컨센서스와 비교했을 때 실질적으로 다른 결과를 생성하지 않았다:

• 편차 크기: 추론 활성화 모델과 추론 비활성화 대응 모델 간의 결합 평균 절대 편차는 5점 척도 기준 0.38이었다.
• 극단적 편차: 두 모델 간의 차이가 2점에 달하는 쌍별 비교는 단 **2%**였으며, 2점을 초과하는 경우는 없었다.
• 분산 분석: 모델 간 분산이 가장 높았던 기업(Seven & i Holdings)에서도 추론 활성화 모델의 점수는 추론 비활성화 모델의 중앙값으로부터 1점 이내에 머물렀다. 주요 분산 원인은 다른 모델의 추론 능력 부족이 아니라, 한 추론 비활성화 모델(DeepSeek)의 체계적인 스코어링 편향으로 식별되었다.

3.2 모델 간 합의도

• 루브릭 축별 합의: 합의도는 N3(외부 표준 정렬, $\kappa=0.65$)에서 가장 높았고, N1 및 N2($\kappa=0.36$ 및 $0.30$)에서는 낮게 나타났다. 이는 목표의 구체성 및 인프라 충분성을 해석하는 데 따르는 어려움을 반영한다.
• 순위 일관성: 점수 단위의 합의도는 낮았으나(N1, N2), 모델들은 높은 순위 일 order 일관성(평균 Spearman $\rho=0.71$)을 보였다. 이는 절대적인 캘리브레이션(calibration)은 다를 수 있지만, 기업 간의 상대적 순위는 모델 전반에 걸쳐 안정적임을 의미한다.

3.3 비용 분석

비용 격차는 상당하다:

• 기업당 비용: 추론 활성화된 OpenAI 그룹의 비용은 기업당 약 $0.849**이다. 세 개의 추론 비-활성화 제공업체 앙상블의 비용은 기업당 약 **$0.151이다.
• 비용 비율: 추론 활성화 그룹은 추론 비활성화 앙상블보다 약 5.6배 더 비싸다.
• 토큰 사용량: 추론 활성화 모델은 표준 프롬프트 및 완료 토큰 외에 기업당 약 439개의 추론 토큰을 추가로 소비하였다.

4. 기여 및 주장

4.1 실증적 증거

본 논문은 스팬 기반 ESG 내러티브 스코어링에서 추론 집약적 프런티어 모델을 배치하는 것의 한계 효용이 작다는 실증적 증거를 제공한다. 추가적인 추론 예산은 추론 비활성화 모델들의 컨센서스에 비해 스코어링 정확도를 체계적으로 개선하거나 불확실성을 줄이지 못한다.

4.2 비용-효율성 분석

본 연구는 상당한 비용-품질 트레이드오프를 보여준다. 추론 집약적 배포의 운영 비용은 (98%의 사례에서 점수 편차가 매우 작은 수준임에도 불구하고) 불균형적으로 높다(5.6배).

4.3 실무적 권고

저자들은 컨센서스 집계와 결합된 추론 비활성화 앙상블을 우선시하는 ESG 자동 스코어링 파이프라인의 배포 전략을 제안한다.

• 불확실성 정량화: 단일한 고비용 추론 모델에 의존하는 대신, 추론 비활성화 앙상블의 모델 간 분산($\bar{\sigma}_f$)을 저비용의 사후 불확실성 신호로 활용한다.
• Human-in-the-Loop: 높은 분산(예: $\bar{\sigma}_f > 0.6$)을 보이는 기업은 선택적 인간 검토 대상으로 분류하여 전문가 자원의 배분을 최적화한다.

5. 의의 및 한계

본 논문은 루브릭이 문서 내 식별 가능한 표면적 특징에 직접 매핑되는 작업의 경우, "추론" 계층이 큰 가치를 더하지 못한다고 주장한다. 이는 해당 작업의 인지적 요구가 다단계 추론보다는 분류(classification)에 가깝기 때문이다. 본 연구의 주장은 스팬 기반 ESG 내러티브 스코어링에 국한되며, 다중 문서 합성, 반사실적 추론(counterfactual reasoning), 또는 복잡한 정량적 계산이 필요한 작업에는 확장 적용되지 않는다.

저자들이 인정한 한계점은 다음과 같다:

• 교차 모델 프록시(Cross-Model Proxy): 본 비교는 동일 모델 내의 ablation(동일 모델의 추론 유/무 비교)이 아니라 서로 다른 제공업체 간(OpenAI vs 기타)의 비교이므로, 제공업체 수준의 사전 학습 및 정렬 차이가 추론 효과를 혼란 변수로 만들 수 있다.
• 표본 크기: 연구가 10개의 일본 기업으로 제한되어 있어, 타 관할권이나 산업군으로의 일반화에는 추가적인 평가가 필요하다.
• 데이터 누락: Google Gemini의 사용 메타데이터가 불완전하여 토큰 수를 추정하여 사용하였다.
• 설정의 세밀함: "full" 추론 설정만을 테스트하였으며, 중간 단계의 설정들은 평가되지 않았다.

결론적으로, 본 논문은 ESG 스코어링과 같은 적용된 책임 설정(applied accountability settings)의 경우, 추론 집약적 배포의 한계 효용이 운영 비용을 정당화하기에 불충분하며, 추론 비활성화 모델을 활용한 컨센서스 기반 접근 방식이 더 효율적이고 견고한 대안임을 주장한다.