기술 요약: ESG 보고를 위한 감사인 감사 (Auditing the Auditor)

문제 정의

기업의 지속가능성 보고가 EU의 기업지속가능성보고지침(CSRD)과 같은 프레임워크에 따라 자발적 마케팅에서 의무적 법정 보증 단계로 전환됨에 따라, 환경·사회·지배구조(ESG) 공시의 양과 복잡성이 급증하여 인간 감사인을 위한 심각한 병목 현상을 초래하고 있다. 검색 증강 생성(RAG) 파이프라인을 사용하는 대규모 언어 모델(LLM)이 방대한 보고서에서 검증된 정량적 지표를 추출하는 과정을 자동화할 수 있는 경로를 제시하지만, 신뢰성 측면에서 중요한 격차가 존재한다.

기존 문헌은 법정 감사와 관련된 네 가지 구체적인 사각지대를 다루지 못하고 있다:

1. 오픈 웨이트 모델의 비교 가능성: 동일한 ESG 과업에 대해 현대적인 오픈 웨이트 모델들(4B에서 31B 파라미터 범위) 간의 직접적인 헤드 투 헤드(head-to-head) 비교 연구가 부족함.
2. 검색 vs. 독해 한계: 추출 오류가 검색 엔진이 올바른 페이지를 찾지 못한 것인지, 아니면 LLM이 복잡한 다중 열(multi-column) 테이블을 해석하는 데 실패한 것인지 구분하지 못함.
3. 데이터 부재 처리: 표준 벤치마크는 정답이 없을 때 모델이 어떻게 행동하는지를 테스트하는 데 미흡하며, 이로 인해 "환각"(숫자를 지어냄)과 "충실한 기권"(답변 거부) 사이의 위험을 측정하지 못함.
4. 규제 진화: 대부분의 데이터셋이 2025~2026년의 의무적 CSRD/ESRS 공시 물결 이전의 것이어서, 표준화된 보고 구조가 AI 성능에 미치는 영향이 검증되지 않음.

방법론

본 연구는 5개의 주요 오픈 웨이트 LLM(Qwen3-4B, DeepSeek-R1-7B, GPT-OSS-20B, Qwen3.5-27B, Gemma-4-31B)을 평가하기 위해 종단적 경험적 벤치마크를 구축한다.

코퍼스 및 벤치마크 설계

• 데이터셋: 2010년부터 2026년 사이에 발행된 518개의 기업 지속가능성 보고서로 구성된 코퍼스로, 279,862개의 검색 가능한 텍스트 구절을 포함한다. 여기에는 주요 유럽 기업(예: Siemens, ASML, SAP)의 신규 출시된 2025~2026 CSRD/ESRS 의무 공시 자료 20개가 포함된다.
• 감사 질문: 네 가지 유형(어려운 수치 KPI, 전년 대비 비교, 정책 공시, 교차 필라(Cross-Pillar) 종합)과 세 가지 규제 시대를 균형 있게 배분한 120개의 현실적인 감사 질문으로 계층화하였다.
• 증거 조건: 각 모델은 다섯 가지 통제된 조건 하에서 테스트되었다:
  1. 단일 구절 ($k=1$): 상위 랭킹된 단일 검색 결과.
  2. 삼중 구절 ($k=3$): 상위 세 개의 검색 결과를 결합.
  3. 오라클(Oracle): 정답(ground truth)을 포함하는 정확한 골드 스탠다드 구절 (검색 오류 제거).
  4. 니어 미스(Near-Miss, 표준): 답변 불가능한 방해 구절(잘못된 연도/지표 포함)과 일반적인 "도움이 되는 비서" 프롬프트.
  5. 니어 미스(Near-Miss, 엄격): 동일한 방해 구절과 함께, 데이터가 누락된 경우 답변을 거부하라는 명시적인 준수 지침 적용.

평가 프로토콜

"자기 채점 편향"(모델 제품군이 자신의 출력을 스스로 채점하는 현상)을 제거하기 위해, 생성된 모든 3,000개의 응답은 테스트된 모델들과 학습 계보를 공유하지 않는 Microsoft의 Phi-4-14B라는 독립적인 레퍼리(referee) 모델에 의해 채점되었다. 평가지표로는 문맥 정밀도(Context Precision), 문맥 재현율(Context Recall), 충실도(Faithfulness), 답변 관련성(Answer Relevancy), 사실적 정확성(F1), 그리고 충실한 기권율(Faithful Abstention Rate)이 사용되었다.

주요 기여

1. 종단적 ESG 코퍼스: RAG 테스트를 위해 인덱싱된 16년치(2010~2026) 데이터셋 구축.
2. 스트레스 테스트 벤치마크: 환각 및 기권 행동을 압박 속에서 평가하기 위해 "니어 미스" 함정을 설계한 120개 질문 벤치마크.
3. 독립적 레퍼리 프레임워크: 추출 정확도와 환각률에 대한 편향 없는 채점을 보장하기 위해 별도의 모델 제품군(Phi-4)을 사용하는 엄격한 평가 파이프라인.
4. 세밀한 성능 분석: 모델 아키텍처, 증거 체계, 그리고 수치적 추출과 서사적 추출 간의 특정 과제에 따른 상세한 성능 분석.

주요 결과

1. 서사적 추출 vs. 수치적 추출

모델들은 수치적 KPI(F1 $\approx$ 0.335)에 비해 질적인 정책 요약(F1 $\approx$ 0.729)에서 일관되게 우수한 성능을 보였다. 정답 구절이 제공된 오라클(Oracle) 조건에서도 가장 성능이 좋은 모델인 GPT-OSS-20B의 사실적 정확도는 0.731의 천장에 도달했다. 이는 테이블 읽기 오류(행 정렬 오류, 단위 혼동 또는 각주 누락)가 검색 오류보다 더 큰 병목 구간임을 시사한다.

2. 증거 양의 영향

검색 창을 한 개 구절($k=1$)에서 세 개 구절($k=3$)로 확장했을 때, 모든 모델의 사실적 정확도가 6~11 퍼센트 포인트 향상되었는데, 이는 주로 누락된 테이블 행과 맥락을 복구했기 때문이다. 그러나 "오라클" 조건은 완벽한 맥락이 주어지더라도 모델들이 밀집된 다중 열 ESG 테이블을 다루는 데 여전히 어려움을 겪고 있음을 드러냈다.

3. 환각 및 기권

• 표준 프롬프트: 표준 "도움이 되는 비서" 프롬프트 하에서, 모델들은 니어 미스 방해 구절이 제시될 때 빈번하게 숫자를 환각하거나 대체하였다 (일부 모델의 경우 최대 46.7%).
• 엄격한 가드레일: 기권을 명시하는 지침은 상위 모델들의 환각률을 **5.8%~7.5%**로 낮추었다.
• 추론 모델: DeepSeek-R1-7B는 독특한 능력을 보여주었다. 특히 답변 불가능한 니어 미스 질문에 대해, 내부 추론 트레이스를 통해 연도나 엔티티의 불일치를 감지하고 엄격한 가드레일 프롬프트 없이도 **77.5%**의 경우에서 충실하게 기권하였다.

4. 규제 시대의 영향

초기 검색 단계는 새로운 CSRD 보고서에서 더 어렵지만, ESRS 테이블의 표준화된 구조는 올바른 구절을 찾았을 때 추출을 크게 돕는다. 오라클 구절이 주어졌을 때, 모델들은 기존의 자발적 보고서보다 20252026 CSRD 공시에서 **8.511.5 퍼센트 포인트 더 높은 정확도**를 달 기록했다.

5. 모델별 강점

• GPT-OSS-20B: 추출 정확도와 안전성 사이의 최적의 균형을 갖춤 (엄격한 프롬프트 적용 시 80.0%의 기권율).
• DeepSeek-R1-7B: 최고의 내장 검증 능력; 추론 트레이스가 컴플라이언스 워크플로우를 위한 감사 가능한 경로를 제공함.
• Qwen3.5-27B: 가장 높은 충실도 점수를 보이나, 지나치게 보수적이어서 부분적인 데이터에 대해서도 자주 기권함.
• Qwen3-4B: 로컬 하드웨어에서 실행 가능하지만, 제작(fabrication)을 방지하기 위해 엄격한 프롬프트가 필수적임 (가드레일 없는 경우 환각률 24.2%).

의의 및 주장

본 논문은 오픈 웨이트 LLM이 질적인 ESG 정책을 요약하는 데는 준비되어 있으나, 지속적인 테이블 읽기 한계로 인해 엄격한 수치적 KPI를 추출하는 완전한 자율성을 갖추기에는 아직 부족하다고 주장한다. 그러나 본 연구는 환각은 예방 가능하다는 것을 입증한다. 오픈 웨이트 모델을 엄격한 기권 가드레일이나 추론 기반 아키텍처와 결합함으로써, 조직은 불충실한 조작(unfaithful fabrication)을 6% 미만으로 줄일 수 있으며, 이를 통해 AI 지원 지속가능성 감사의 실질적인 토대를 마련할 수 있다.

저자들은 의무적이고 표준화된 CSRD/ESRS 보고로의 전환이 AI 감사를 위한 긍정적인 발전이라고 강조하는데, 이는 균일한 테이블 레이아웃이 모호성을 줄여주기 때문이다. 그럼에도 불구하고, 본 연구는 복잡한 테이블 구조나 단위 변환이 포함된 경우 최종 수치 KPI를 검증하기 위해 인간 참여형(human-in-the-loop) 방식이 여전히 필수적이라는 결론을 내린다.