LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction

기술 요약: 문화적 아카이브로서의 LLM: 문화적 상식 지식 그래프 추출

문제 정의
대규모 언어 모델(LLM)은 다양한 웹 규모 데이터로부터 유래된 방대한 양의 문화적 지식을 인코딩하고 있으며, 이는 문화적 상식을 대규모로 모델링할 수 있는 잠재적 자원을 제공한다. 그러나 이러한 지식은 여전히 주로 암묵적이고, 비구조적이며, 해석하기 어렵다. 기존의 상식 추론에 대한 계산적 접근 방식은 역사적으로 문화를 중립적이거나 서구 중심적인 것(예: ATOMIC)으로 취급해 왔다. 반면, 문화적 지식 베이스를 구축하려는 최근의 노력들은 위키피디아나 소셜 미디어와 같은 출처로부터 얻은 정적이고 고립된 사실들에 의존하는 경우가 많다. 이러한 접근 방식은 문화적 관습의 절차적, 순차적, 맥락적 성격을 포착하지 못하는데, 문화적 관습은 종종 단순한 원자적 진술보다는 순서가 있는 행동의 사슬로 정의되기 때문이다. 또한, 서로 다른 언어에 걸친 지역적 규범과 관습을 반영하는 구조화되고 추론 가능한 표현 방식이 부족한 실정이다.

방법론
저자들은 LLM을 "문화적 아카이브"로 취급하여 문화 특유의 지식을 체계적으로 추출하고 구조화하기 위해, **문화적 상식 지식 그래프(CCKG)**를 구축하는 반복적인 프롬프트 기반 프레임워크를 제안한다.

1. 프레임워크 구축:

   • 그래프 정의: CCKG는 노드가 행동을 나타내고 에지가 레이블이 지정된 관계를 나타내는 유향 레이블 그래프 $G = (V, E)$이다. 하나의 단언(assertion)은 "행동 $A_i$가 발생하면, 행동 $A_j$가 뒤따른다"로 해석되는 트리플 $(A_i, R, A_j)$이다.
   • 관계 유형: 프레임워크는 다섯 가지 관계 유형을 활용한다: $xNext$(행위자의 다음 행동),$xEffect$(행위자에 대한 효과),$xNeed$(행위자를 위한 전제 조건),$oNext$(타인의 다음 행동),$oEffect$ (타인에 대한 효과).
   • 추출 과정 (알고리즘 1):
     • 초기 생성: 하위 주제, 국가, 언어가 주어지면, LLM(GPT-4o)은 사전 정의된 관계 유형을 바탕으로 초기 "if-then" 단언들을 생성한다.
     • 반복적 확장: 지식 베이스는 두 가지 메커니즘을 통해 풍부해진다:
       • 중간 확장(Intermediate Expansion): 직접적인 연결 $(A_i \to A_j)$을 더 세밀한 단계의 시퀀스로 분해한다.
       • 전방 확장(Forward Expansion): 결과로 나타난 행동 $A_j$로부터 새로운 연속 동작들을 생성한다.
     • 가지치기(Pruning): 효율성을 보장하고 중복을 줄이기 위해, 생성된 행동들을 유사도 점수를 사용하여 기존 노드들과 매칭한다. 중복된 것은 병합하며, 확장 리스트는 노드당 최대 6개의 단언으로 제한한다.

2. 실험 설정:

   • 범위: 프레임워크는 5개국(중국, 인도네시아, 일본, 영국, 이집트)을 대상으로 11개의 일상생활 주제와 65개의 하위 주제에 적용되었다.
   • 언어: 지식 그래프는 영어와 각국의 모국어(중국어, 인도네시아어, 일본어, 아랍어) 모두에서 생성되었다.
   • 평가: 인간 주석가(원어민)들이 생성된 그래프를 세 가지 차원, 즉 정확성(유효한 행동 및 관계), 문화적 관련성(대상 문화에 대한 특수성), 논리적 경로 일관성(추론 사슬의 일관성)에 대해 평가하였다.
   • 다운스트림 태스크: 추출된 CCKG는 더 작은 규모의 LLM을 세 가지 태스크(객관식 질문 답변(MCQA), 문장 완성, 이야기 생성)를 위해 증강하는 데 사용되었다. 벤치마크로는 IndoCulture와 ArabCulture가 포함되었다.

주요 기여

1. CCKG 프레임워크: 정적인 사실을 넘어 절차적이고 다단계적인 추론 구조를 갖춘, LLM으로부터 다국어 및 문화 특유의 추론 지식 사슬을 추출하는 방법론을 도입하였다.
2. 문화적 인코딩의 경험적 분석: 현재의 LLM 내에서 영어가 문화적 지식 그래프를 표현하는 데 있어 더 일관되고 응집력 있는 매체 역할을 한다는 것을 보여주는 체계적인 평가를 통해, 모국어가 더 풍부한 문화적 세부 사항을 포착함에도 불구하고 영어가 더 안정적인 표현 매체로 기능한다는 점을 밝혀냈다.
3. 성능 증강: CCKG(인컨텍스트 단언 또는 경로 방식)를 통해 작은 모델이나 베이스 모델을 증강하는 것이 문화적 추론 및 이야기 생성 태스크의 성능을 유의미하게 향고시킨다는 것을 입증하였으며, 특히 특정 문화적 맥락을 위해 모국어 단언을 사용할 때 그 효과가 두드러졌다.

결과

• 그래프 품질: 인간 평가에서, 영어로 생성된 CCKG는 비영어권 문화(예: 중국, 인도네시아, 아랍)에 대해 정확성, 문화적 관련성, 경로 일관성 측면에서 일관되게 모국어 버전보다 우수한 성능을 보였다. 이는 현재의 다국어 LLM에서 영어 가 문화적 추론을 위한 더 안정적인 표현 매체로 작형하는 비대칭성이 존재함을 시사하며, 이는 아마도 영어의 풍부한 사전 학습 데이터 때문일 것이다.
• 추론 태스크 (MCQA): CCKG 지식을 통합함으로써 IndoCulture 및 ArabCulture 벤치마크의 정확도를 개선하였다. 모국어 증강이 영어 증강 및 Mango와 같은 기존 베이스라인보다 높은 평균 +1.2 포인트의 상승폭을 보이며 가장 높은 이득을 기록했다. 주목할 점은, Chain-of-Thought (CoT) 프롬프팅이 베이스라인보다 낮은 성능을 보였다는 것인데, 이는 문화적 상식이 명시적인 단계별 논리보다는 직관적인 맥락에 더 의존함을 시사한다.
• 생성 태스크: 문장 완성 및 이야기 생성 작업에서 CCKG 증강(특히 경로 기반)은 문장 유사도와 일관성 점수를 향상시켰다. 이야기 생성에서는 CCKG 경로를 포함하는 것이 문화적 관련성 점수를 일관되게 높였으며(Llama 모델에서 평균 +1.4 증가), 영어 이야기 생성에서 가장 큰 개선이 관찰되었으나, 특정 사례(예: Llama3.1-8B-IT를 사용한 인도네시아어 이야기)에서는 모국어 생성에서도 이점이 있었다.
• LLM-as-a-Judge: 자동화된 LLM 평가 방식은 모국어 이야기의 경우 인간의 판단과 강한 상관관관계를 보였으나, 영어 이야기의 경우 스타일적 변이와 번역의 뉘앙스로 인해 유창성과 일관성 측면에서 중간 또는 낮은 상관관계를 보였다.

의의 및 주장
본 논문은 추출 과정이 체계적이라면 LLM이 구조화된 추론 지식을 추출하기 위한 유효한 "문화적 아카이브" 역할을 할 수 있다고 주장한다. 저자들은 사슬 구조의 문화적 지식이 문화적으로 근거 있는 NLP 시스템을 개발하기 위한 실질적인 토대가 될 수 있다고 주장한다.

본 연구는 중요한 한계와 통찰을 강조한다. 지역적 문화 추론을 모델링하려는 목표에도 불구하고, 현재의 LLM은 대상 문화가 비영어권일지라도 문화적 상식을 영어를 통해 가장 효과적으로 표현한다는 점이다. 이러한 발견은 모국어 출력이 문화적 과업에 본질적으로 더 우월할 것이라는 가설에 도전하며, 영어가 현재 모델들에서 응집력 있는 문화적 추론을 위한 "피벗(pivot)" 역할을 하고 있음을 시사한다.

저자들은 이 방법론이 유망한 프로토타입임을 밝히며, 스테레오타입을 강화할 수 있는 잠재적 위험을 해결하지 않은 채 추출된 콘텐츠를 공식적인 프로덕션 시스템용 데이터셋으로 사용하는 것에 대해 주의를 당부하였고, 편향성을 조사하고 프레임워크를 더 미세한 문화적 수준으로 확장하기 위한 후속 연구의 필요성을 강조하였다.