The Say-Do Gap Index: A Reproducible NLP Pipeline for Detecting ESG Rhetoric–Reality Divergence in Corporate Media Coverage

기술 요약: Say-Do Gap 인덱스 파이프라인

문제 제기
본 논문은 기업의 환경·사회·지배구조(ESG) 수사와 관찰 가능한 결과 사이의 괴리인 'Say-Do Gap(언행 불일치)'을 탐지하는 과제를 다룬다. 기존 문헌은 주로 기업의 자발적 공시나 수동 분석에 의존하는 경향이 있으나, 대규모 미디어 보도라는 외부 신호를 통해 기업의 주장을 검증할 수 있는 확장 가능하고 재현 가능한 방법론이 필요하다. 본 논문은 특정 적용 사례의 실증적 결과보다는, 이 간극을 측정하기 위해 필요한 '방법론적 인프라'를 주요 기여 대상으로 삼음으로써 기존의 실증 연구와 차별화된다.

방법론
저자는 2019년부터 2025년까지 스페인 IBEX 35 지수의 스페인어 미디어 보도를 처리하도록 설계된, 완전히 문서화되고 재현 가능한 자연어 처리(NLP) 파이프라인을 제시한다. 이 파이프라인는 네 가지 핵심 구성 요소로 이루어져 있다:

1. 코퍼스 추출 (Corpus Extraction):

   • 출처: 데이터는 Google BigQuery를 통해 GDELT Global Knowledge Graph에서 추출된다.
   • 엔티티 해상도 (Entity Resolution): GDELT의 기본 V2Organizations 필드에 내재된 짧은 약어(예: "BBVA")로 인한 데이터 왜곡를 방기하기 위해, 본 파이프라인은 기업 식별을 위해 URL 슬러그(URL-slug) 매칭 방식을 활용한다.
   • 범위: 최종 코퍼스는 34개 IBEX 35 구성 기업을 다루는 131,151개의 중복 제거된 뉴스 기사로 구성된다.

2. 분류 체계 및 어노테이션 (Taxonomy and Annotation):

   • Walker와 Wan(2012)의 실질적/상징적 구분을 응용한 6개 범주의 ESG 행동 분류 체계를 개발하였다:
     1. 실질적인 ESG 행동 (Substantive ESG action).
     2. 검증되지 않은/지향적인 약속 (Unverified/aspirational commitment).
     3. 모호한 공시/그린워싱 신호 (Ambiguous disclosure/greenwashing signal).
     4. 부정적인 ESG 논란 (Negative ESG controversy).
     5. 정보 제공적/중립적 ESG 언급 (Informative/neutral ESG mention).
     6. 비(非) ESG 노이즈 (Non-ESG noise).
   • 어노테이션 프로토콜: 700개의 기사로 구성된 층화 시드 샘플을 수동으로 어노테이션하였다. 클래스 불균형 문제를 해결하기 위해, 과소 대표된 범주(특히 검증되지 않은 약속)의 표현력을 높이기 위한 표적 키워드 검색 강화 절차를 적용하였다.
   • 데이터 정제: 모델이 입력 길이를 특정 범주의 가짜 프록시(spurious proxy)로 학습하는 심각한 불일치를 발견하였다. 훈련과 추론 전반에 걸쳐 입력 형식(URL-슬러그만 사용)을 표준화함으로써, 15.6%였던 과잉 예측률을 2.4%로 교정하였다.

3. 분류기 개발 (Classifier Development):

   • 모델: 파이프라인은 스페인어 코퍼스에 대해 독점적으로 사전 학습된 BETO(Spanish BERT) 모델을 미세 조정(fine-tuning)하여 사용한다.
   • 반복적 훈련: 모델은 세 차례의 개발 단계를 거쳤다:
     • v1: 6개 개별 범주를 적용했을 때 Macro F1은 0.49였으며, 범주 2와 3은 심각한 과소 표현으로 인해 포착에 실패하였다.
     • v2: 범주 2와 3을 하나의 "검증되지 않은 약속" 클래스로 병합하여 Macro F1을 0.59로 높였다.
     • v3 (최종): 병합된 클래스에 대한 표적 강화 학습을 거친 후, 최종 모델은 0.76의 Macro F1을 달 Achieve 하였다. 병합된 범주는 F1=0.00에서 F1=0.73으로 개선되었으며, 모든 범주가 사용 가능한 성능(0.63–0.91)에 도달하였다.
   • 정밀도 참고: 핵심적인 "검증되지 않은 약속" 범주에 대한 수동 검증 결과, 정밀도(precision)가 약 56%로 나타났으며, 저자는 이 한계를 명시적으로 인정하였다.

4. 인덱스 구축 (Index Construction):

   • Say-Do Gap 인덱스는 기업-연도 단위의 지표로 계산된다:
     $$\text{Say-Do Gap Index} = \frac{N_{2/3} - N_1 - 2 \times N_4}{N_{ESG}}$$
   • 여기서 $N_{2/3}$는 검증되지 않은/모호한 기사의 수, $N_1$은 실질적 행동, $N_4$는 부정적 논란, $N_{ESG}$는 전체 ESG 관련 기사의 총수이다.
   • 결과적으로 238개의 기업-연도 관측치를 포함하는 패널이 생성된다.

주요 기여

• 재현 가능한 인프라: 본 논문은 추출 스크립트, 어노테이션 도구, 분류기 훈련 코드를 포함하여 CC-BY 4.0 라이선스 하에 Zenodo에 공개된, ESG 격차 탐지를 위한 완전하고 재사용 가능한 아키텍처를 제공한다.
• 방법론적 투명성: 분류 체계 설계, 클래스 불균형 처리, 모델의 가짜 프록시 학습 교정 과정을 문서화함으로써 유사한 연구를 위한 청사진을 제공한다.
• 구성 타당성 논의: 저자는 텍스트상의 불일치를 측정하는 것과 이를 행동적 부정직함으로 해석하는 것 사이의 구분을 명확히 한다. 저자는 본 파이프라인이 관찰 가능한 격차를 신뢰성 있게 탐지하지만, 책임에 관한 인과적 추론은 NLP 모델을 넘어선 맥락적 판단을 필요로 한다고 주장한다.

결과 및 의의
본 논문은 기업 가치나 시장 반응에 관한 새로운 실증적 결과(이는 별도의 논문인 Merlet Echavarría, 심사 중인 논문에서 다룸)를 제시하지 않는다. 대신, 이 연구의 의의는 Say-Do Gap의 **조작화(operationalization)**에 있다.

• 성능: 파이프라인은 스페인어의 미묘한 ESG 개념을 포함하는 복잡한 다중 클래스 분류 작업에서 성공적으로 0.76의 Macro F1을 달성하였다.
• 일반화 가능성: 저자는 아키텍처적 일반화 가능성(파이프라인의 논리와 구조는 다른 시장과 언어로 전이 가능하다는 점)과 실증적 일반화 가능성(특정 파라미터와 모델은 다른 언어적 또는 제도적 맥락에 맞춰 재조정되어야 한다는 점)을 구분한다.
• 한계: 저자는 파이프라인이 관찰 가능한 불일치를 측정하지만, 왜 그러한 불일치가 존재하는지(예: 전략적 조정, 외부 충격, 혹은 기만 여부의 구분)에 대한 질문을 해결하지는 못한다고 겸허하게 밝힌다. 저자는 이 도구가 현상의 식별을 확장시키지만, 연구자의 이론적 및 맥락적 해석을 대체할 수는 없음을 강조한다.

요약하자면, 본 논문은 연구자들이 ESG 수사와 실제 사이의 괴리를 연구할 수 있도록 검증된 오픈 소스 도구를 제공하는 동시에, 해당 도구가 무엇을 추론할 수 있고 무엇을 할 수 없는지에 대한 경계를 엄격히 정의하는 방법론적 토대로서 기능한다.