Assessing the Credibility of Corporate SDG Claims: An Agentic AI Framework for Sustainability Report Analysis

기술 요약: 에이전틱 AI 프레임워크를 통한 기업 SDG 주장의 신뢰성 평가

1. 문제 정의

기업의 유엔 지속가능발전목표(SDGs) 참여는 급격히 확대되어, 2024년 보고서에서 세계 250대 대기업의 74%가 SDGs를 언급하고 있습니다. 그러나 이러한 공시의 질은 양적 증가를 따라잡지 못하고 있습니다. 상당수의 기업 SDG 주장은 측정 가능한 목표, 정량적 지표 또는 검증 가능한 근거가 결여된 일반적인 언급에 불과한 상징적 수준에 머물러 있습니다. "SDG-워싱(SDG-washing)"이라 불리는 이 현상은 실질적인 행동 없이 정당성을 구축하기 위해 SDGs의 규범적 권위를 도용하는 것을 의미합니다.

현재의 평가 방법은 "확장성-엄밀성 역설(scalability–rigour paradox)"에 직면해 있습니다. 수동 콘텐츠 분석은 엄밀하지만 연간 수만 건에 달하는 보고서를 처리할 만큼 확장성이 부족하며, 자동 키워드 매칭은 확장성은 높지만 단순한 SDG 참조의 '존재 여부'와 주장의 '신뢰도'를 구분하지 못합니다. 기존 AI 도구들(예: OSDG, ClimateBERT)은 SDG 관련성을 분류할 뿐, 주장의 깊이, 구체성 또는 증거적 뒷받침을 평가하지는 못합니다. 또한, 보고는 의무화되어 있으나 콘텐츠의 질이 크게 차이 나는 태국 기업 맥락에 특화된 자동화된 클레임 수준의 신뢰도 평가 도구가 부재한 상황입니다.

2. 방법론

본 연구는 기업의 SDG 주장의 신뢰도를 대규모로 평가하기 위해 설계된 **4단계 에이전틱 AI 프레임워크(Four-phase Agentic AI Framework)**를 개발하고 검증합니다. 이 프레임워크는 LangGraph를 사용하여 구현된 파이썬 기반의 멀티 에이전트 아키텍처를 활용하며, 하위 에이전트가 상위 에이전트의 평가에 대해 재검토를 트리거할 수 있는 피드백 루프를 특징으로 합니다.

4단계 아키텍처:

1. 플래너 에이전트 (수집 및 구조화): LandingAI의 에이전틱 문서 추출(ADE)을 사용하여 원시 PDF 지속가능성 보고서를 구조화된 계층적 JSON 텍est 단위로 변환합니다. 이 비전 기반 시스템은 관계적 맥락을 보존하고 평가를 정확한 소스 위치에 연결합니다. 이는 개별 지속가능성 주장 단위와 상투적인 문구(boilerplate text)를 구분하며, 비주장적 근거(예: 데이터 테이블, 경영진 요약)를 포함하는 지속적인 "청크 풀(chunk pool)"을 생성합니다.
2. 매퍼 에이전트 (목표 수준 매핑): 추출된 각 주장을 (단순 17개 고수준 목표가 아닌) 169개의 구체적인 SDG 목표에 매핑합니다. 이는 목표 수준 스크리닝 후 목표 수준 관련성을 판단하는 2단계 프롬프팅 프로세스를 채택합니다. 주장은 신뢰 점수와 함께 매핑되며, 0.5 미만의 점수를 받은 주장은 매핑 불가능한 것으로 분류됩니다.
3. 스코어러 에이전트 (다차원 신뢰도 평가): 핵심 방법론적 구성 요소입니다. 정당성, 시그널링, 책임성 이론에 근거하여 매핑된 각 주장을 **5차원 신뢰도 루브릭(SMTEC)**으로 평가합니다.
   • 구체성(Specificity): 행동/이니셔티브의 구체성.
   • 측정 가능성(Measurability): 정량적 지표, KPI 및 베이스라인의 존재 여부.
   • 시의성(Temporality): 마감 기한, 마일스톤, 타임프레임의 존재 여부.
   • 증거(Evidence): 입증의 유형 및 강도 (예: 제3자 검증).
   • 일관성(Consistency): 보고서 전반의 내부 일관성 (교차 섹션 검색을 통해 확인).
   • 채점: 각 차원은 0~3점의 서열 척도로 점수를 부여합니다. 5개 차원의 종합 점수(평균)를 통해 주장을 세 가지 단계로 분류합니다: 상징적(Symbolic) (<1.0), 부분적 실질성(Partially Substantive) (1.0–1.99), 실질적(Substantive) (≥2.0).
   • 검색 메커니즘: 에이전트는 주장의 즉각적인 맥락에만 의존하는 대신, 보고서 전체(비주장적 청크 풀 포함)를 검색하여 뒷받침하는 근거를 찾는 **청크 인식형 검색 파이프라인(chunk-aware retrieval pipeline)**을 사용합니다.
4. 컴패레이터 에이전트 (보고서 간 비교 분석): 출력을 집계하여 섹터 및 목표 전반에 걸친 패턴, 이상치 및 "워싱 핫스팟(washing hotspots, 빈도는 높으나 신뢰도는 낮은 지점)"을 식별합니다.

검증 프로토콜:
프레임워크는 태국 증권거래소(SET) 상장 기업의 30개 지속가능성 보고서(2024년 보고 연도, 6,325개의 매핑된 주장 포함)에 적용되었습니다. 검증 과정은 다음과 같습니다:

• 전문가 신뢰도 벤치마크: 63개의 클레임을 표본 추출하여 두 명의 도메인 전문가와 AI 프레임워크가 각각 점수를 부여했습니다. 일치도는 Krippendorff의 서열 알파(ordinal alpha)와 Cohen의 이차 가중 카파(quadratic-weighted kappa)를 사용하여 측정되었습니다.
• 검색 강건성: 발견 사항이 특정 임베딩 모델의 결과물이 아님을 보장하기 위해 세 가지 검색 파이프라인(OpenAI 임베딩, 로컬 오픈소스 Nomic-Embed, LLM-as-judge)을 비교했습니다.
• 프롬프트 반복 개선: 프롬프트를 경험적 교정이 필요한 방법론적 산물로 취급하여, 전문가 피드백을 바탕으로 세 가지 버전으로 정교화했습니다.

3. 주요 결과

• 신뢰도: 프레임워크는 0.744의 3인 평가 Krippendorff 서열 알파를 달성하여 "상당한 일치(substantial agreement)" 범위에 도달했습니다. 프레임워크와 개별 전문가 간의 일치는 두 명의 인간 전문가 간의 일치와 통계적으로 구별되지 않았으며, 이는 AI가 이 작업에 대한 경험적 천장에 도달했음을 나타냅니다.
• 신뢰도 분포: 6,325개 클레임 전체에 걸쳐:
  • **8.7%**는 **상징적(Symbolic)**으로 분류되었습니다.
  • **68.6%**는 **부분적 실질성(Partially Substantive)**을 가졌습니다.
  • **22.8%**는 **실질적(Substantive)**이었습니다.
• 차원별 약점: 측정 가능성이 가장 취약한 차원(평균 점수 0.71)이었으며, 이는 대부분의 주장이 정량적 지표가 부족함을 나타냅니다. 일관성은 가장 강력한 차원(평균 2.63)이었는데, 이는 청크 인식형 검색이 교차 참조를 찾아냈기 때문입니다.
• 과소 주장 vs 과다 주장: 기업이 과다 주장할 것이라는 가정과 달리, 본 연구는 기업들이 SDG 참여를 **과소 주장(under-claim)**하는 경향이 있음을 발견했습니다. 기업들은 보고서에서 실질적으로 다루고 있는 목표보다 더 적은 수의 목표를 선언했습니다.
• SDG-워싱 핫스팟: 빈도-신뢰도 매트릭스는 SDG 3, 8, 9, 16을 핫스팟(높은 보고 빈도, 낮은 신뢰도)으로 식별했으며, 특히 측정 가능성 측면에서 그러했습니다. 반대로, **SDG 13 (기후 행동)**은 높은 보고 빈도를 보이면서도 중간 이상의 신뢰도를 유지하여, 기후 공시가 순전히 "저렴한 시그널링"이라는 견해에 도전했습니다.
• 방법론적 영향: 고급 "청크 인식형" 검색과 정교화된 프롬프트를 사용했을 때, 상징적 보고의 추정치가 베이스라인(20.7%)에서 **8.7%**로 감소했습니다. 이는 단일 패스(single-pass) 방식의 클레임 전용 방법론이 상징적 참여를 과대평가할 수 있음을 보여줍니다.

4. 주요 기여

• 방법론적 기여: 규모에 관계없이 SDG 주장의 신뢰도(단순 관련성이 아님)를 평가할 수 있는 최초의 자동화된 프레임워크를 개발했습니다. 본 연구는 SMTEC 루브릭을 구체화하고, 증거의 부재를 하나의 신호로 취급하며 교차 섹션 근거를 찾아내는 청크 인식형 검색 파이프라인을 도입했습니다.
• 이론적 기여: 이를 계산 가능한 도구로 구현함으로써 정당성, 시그널링, 책임성 이론을 발전시켰습니다. 또한 "SDG-13 제도적 예외" 및 "과소 주장 비대칭성"과 같은 구체적인 패턴을 식별했습니다.
• 경험적 기여: 태국 기업 맥락에 대한 최초의 클레임 수준 근거를 제공하여, 보고 채택률은 높지만 실질적 참여는 제한적(22.8%)이며, 기업들이 실제 성과를 과소 보고하는 경우가 많다는 점을 밝혀냈습니다.
• 실무적 기여: 규제 기관, 투자자 및 표준 설정자들이 고위험 공시를 스크리닝하고 신뢰도 가중치가 적용된 SDG 점수를 구축할 수 있는 배포 가능한 도구를 제공합니다.

5. 의의 및 주장

본 논문은 지속가능성 보고 분석의 "확장성-엄밀성 역설"을 해결한다고 주장합니다. 단순한 키워드 분류를 넘어 멀티 에이전트 및 루브릭 기반 평가로 전환함으로써, 프레임워크는 인간 전문가와 대등한 신뢰도로 실질적 공시와 상징적 공시를 구분합니다.

본 연구는 SDG 정렬의 존재 여부와 그 정렬의 질 사이의 구분이 매우 중요하다고 강조합니다. 현재의 자동화 도구들이 이 간극을 해결하지 못하고 있다고 주장합니다. 연구 결과는 SDG 보고의 양은 많지만, 그 깊이는 얕은 경우가 많으며, 측정 가능한 목표와 정량적 근거가 부족한 특징을 보인다는 점을 시사합니다. 본 프레임워크는 기업이 자신의 주장에 대해 실질적인 책임을 지도록 하는 확장 가능한 메커니즘을 제공하며, 이해관계자들이 글로벌 지속가능성 보고의 "형식 대 실질" 간극을 탐색할 수 있는 도구를 제공합니다.

저자들은 결과가 도구의 선택(예: 검색 설계 및 프롬프트 반복)에 민감하다는 점을 인정하며, 발견된 "진실"에 대해 겸허한 태도를 유지합니다. 그러나 본 프레임워크가 이전에는 불가능했던, 이론에 근거한 견고한 기업 SDG 주장 평가 접근법을 제공한다고 확언합니다.