기술 요약: LLM을 넘어: 서사 텍스트로부터의 인과 그래프 생성을 위한 언어학적 접근법

문제 정의

현재의 AI 기반 인과 그래프 생성 방식은 고차원적 인과관계(예: "HIV는 에이즈를 유발한다")를 우선시하는 경향이 있어, 역사적 기록이나 문학 소설과 같은 개별 서사 내의 미세하고 사건 중심적인 인과관계를 포착하는 데 어려움을 겪고 있습니다. 기존 방법들은 대개 2단계 파이프라인(인과성 탐지 후 그래프 구축)을 따르지만, 복잡한 문장 구조나 암시적인 인과 관계를 처리할 때 해석 가능성과 정확도 측면에서 한계에 직면합니다. 본 연구가 다루는 핵심 과제는 서사 텍스트로부터 연결된 미세한 인과 그래프를 생성하여, 사건의 연쇄가 구체적인 결과로 이어지는 과정을 정확하게 반영함으로써 고차원적 인과관계와 구체적인 서사적 세부 사항 사이의 간극을 메우는 것입니다.

방법론

저자들은 언어적 특징 추출과 현대적 언어 모델을 통합하여 인과 그래프를 생성하는 엔드 투 엔드(end-to-end) 프레임워크를 제안합니다. 이 과정은 네 가지 뚜렷한 단계로 구성됩니다.

1. 정점 추출 (Vertices Extraction)

시스템은 먼저 가공되지 않은 서사 텍스트를 그래프의 정점으로 기능할 간결하고 행위자 중심적인 문장 집합으로 변환합니다. LLM 기반 요약 전략(특히 사건 압축 성능이 우수한 GPT-4o 선택)을 사용하여 텍스트를 다음과 같은 구조화된 프롬프트 워크플로우를 통해 처리합니다:

• 요약: 단락별로 짧은 요약본 생성.
• 대명사 치환: 대명사를 명시적인 식별자(예: "주인공")로 교체.
• 절 단순화: 복잡한 문장을 단일 동작 문장으로 분리.
• 흐름 검증: 논리적 연속성을 보장하면서 부수적인 세부 사항은 제거.
  각 정점은 두 개의 절을 초과하지 않아야 하며, 하나의 명시적인 행위자를 포함해야 하고, 능동태를 사용해야 합니다.

2. 전문가 지표 추출 (Expert Index Extraction)

분류 정확도를 높이기 위해, 프레임워크는 각 문장에 대해 일곱 가지 언어학적으로 근거가 있는 특징(전문가 지표)을 추출합니다. 이 특징들은 담화 프레임워크(Hemmatian et al., 2021; Hemmatian Borujeni, 2022)에서 채택되었으며 다음을 포함합니다:

1. 일반성 (Genericity): 구체적 주어 vs 일반적 주어.
2. 사건성 (Eventivity): 동적(동작) 동사 vs 정적(상태) 동사.
3. 경계성 (Boundedness): 에피소드적, 습관적 또는 정적인 사건.
4. 개시성 (Initiativity): 주어가 동작을 시작하는지 혹은 받는지 여부.
5. 시간 시작 (Time Start): 서사 기준 과거 또는 현재.
6. 시간 종료 (Time End): 서사 기준 현재 또는 미래.
7. 영향력 (Impact): 사건의 효과가 지속되는지 혹은 해결되는지 여부.

RoBERTa 기반 분류기가 인간이 주석을 단 데이터를 학습하여 모든 문장에 대한 이러한 특징을 예측합니다.

3. STAC 범주화

시스템은 STAC 분류 모델을 사용하여 문장을 네 가지 구성 요소인 상황(Situation, 배경), 과업(Task, 요구사항), 행동(Action, 활동), 결과(Consequence, 결과)로 분류합니다.

• 입력: 모델은 RoBERTa 문장 임베딩(768차원)과 원-핫 인코딩된 전문가 지표 특징(13차원)을 결합합니다.
• 아키텍처: 하이브리드 입력을 활용하여 STAC 레이블을 예측하기 위해 XGBoost 분류기가 사용됩니다. 이는 의미론적 임베딩과 명시적 언어 특징을 결합한 형태입니다.
• 성능: 이러한 하이브리드 접근 방식은 임베딩만을 사용하거나 언어 특징만을 사용하는 모델, 그리고 제로샷(zero-shot) LLM 베이스라인보다 유의미하게 높은 성능을 보입니다.

4. 그래프 구축 (Graph Construction)

LangChain을 사용하여 최종 인과 그래프를 구축하는 구조화된 5단계 반복 프롬프트 프로세스가 진행됩니다:

1. STAC 결합 학습: LLM이 STAC 범주 간의 유효한 인과적 연결을 내재화합니다.
2. 인과 관계 식별: 모델은 STAC 결합을 바탕으로 정점 쌍을 평가하여 에지를 제안합니다.
3. 논리적 일관성 및 가지치기: 반사실적 추론("만약 A가 일어나지 않았다면, B가 여전히 일어났을 것인가?")을 통해 비인과적 연결을 필터링합니다.
4. 고립된 정점 정교화: 모델은 끊어진 정점들을 재검토하여 간과된 원인이나 결과를 식별합니다.
5. 최종 그래프 구축: 정교화된 정점과 에지를 종합하여 일관되고 논리적으로 타당한 인과 다이어그램을 구성합니다.

주요 기여

1. 오픈 소스 엔드 투 엔드 프레임워크: 저자들은 기존 방법론에 비해 서사 텍스트로부터의 인과 그래프 생성의 해석 가능성과 정확도를 크게 향상시키는 새로운 파이프라인을 개발했습니다.
2. 언어적 특징 시스템: "전문가 지표"(일곱 가지 언어적 특징)의 도입은 인과 구축을 위한 문장 분류 메커니즘을 제공합니다. 이 시스템은 이러한 특징을 의미론적 임베딩과 결합했을 때 우수한 분류 성능을 낸다는 실험을 통해 검증되었습니다.
3. 하이브리드 아키텍처: 본 논문은 하이브리드 시스템(RoBERTa 임베딩 + 전문가 지표 특징을 처리하는 XGBoost)이 LLM 전용 베이스라인보다 더 높은 정밀도로 인과적 연결을 식별하고 서사 구성 요소를 분류하면서도, 계산 비용은 더 낮게 유지함을 입증했습니다.

실험 결과

프레임워크는 O. Henry, Poe, Fitzgerald의 작품을 포함하여 1800~1950년대를 아우르는 100개의 챕터 및 단편 소설 코퍼스를 대상으로 평가되었습니다.

• 정점 추출: GPT-4o가 간결성, 커버리지, 정보 경제성 측면에서 가장 높은 점수를 기록하며 최적의 요약 모델로 확인되었습니다.
• STAC 분류: RoBERTa와 전문가 지표 특징을 모두 사용한 XGBoost 모델이 모든 STAC 범주에서 가장 높은 macro-F1 점수를 달성했습니다. 이는 RoBERTa 단독 베이스라인보다 약 30%, GPT-4 제로샷 분류기보다 10~15% 더 높은 개선된 성능을 보였습니다.
• 그래프 품질: GPT-4o 및 Claude 3.5와의 쌍체 비교에서, 제안된 방법은 대부분의 질적 차원에서 우수한 성능을 보였습니다:
  • 인과성 vs 연대기적 순서: 두 베이스라인 모두에 대해 100% 승률 기록.
  • 논리적 완결성 및 연결의 정확성: 100% 승률 기록.
  • 명시적 동기/의도: 95%(GPT-4o 대비) 및 92%(Claude 3.5 대비) 승률.
  • 세밀도 및 계층 구조: 높은 승률(84–94%) 기록.
  • 가독성: 제안된 방법은 베이스라인들과 대등한 수준의 가독성을 유지(52–57% 승률)하여, 정확성을 위해 명확성을 희생하지 않음을 보여주었습니다.

의의 및 주장

본 논문은 해석 가능한 언어적 특징 공학을 현대적 언어 모델과 통합하는 것이 서사 텍스트의 미세한 인과 추론을 위한 강력한 솔루션을 제공한다고 주장합니다. 언어적 지표와 반복적 정교화 과정을 포함하는 구조화된 파이프라인을 통해, 현재의 최첨단 LLM이 자율적으로 재현하기 어려운 수준의 정밀도와 논리적 일관성을 달위했습니다. 저자들은 이 연구를 사회 운동, 정책 결정, 역사적 트렌드 등을 보다 정확하게 추적할 수 있게 함으로써, 대규모 문서 컬렉션의 확장 가능하고 해석 가능한 분석을 위한 단계로 포지셔닝합니다. 결과물인 이 도구는 요약, 담화 분석, 지식 그래프 구축에 관한 추가 연구를 촉진하기 위해 오픈 소스로 공개됩니다.