기술 요약: REMOD – 온라인 담화 모델링을 위한 관계 추출

문제 제기

온라인 담화 내 허위 및 부정확한 정보의 확산은 공론장에 중대한 도전을 제기합니다. 제 3 자 사실 확인 기관들은 허위 정보에 대응하기 위해 ClaimReview 스키마와 같은 구조화된 데이터를 생성하지만, 이러한 데이터의 반구조적 성격은 자동화된 모델링과 추론을 방해합니다. 주요 병목 현상은 관계 추출입니다. 이는 주장 내 명명된 개체 간의 의미 관계를 식별하여 이를 기계가 읽을 수 있는 의미 삼중체 (주어, 술어, 목적어) 로 축소하는 작업입니다.

기존 접근법들은 풍자, 의견, 복합 주장 등을 포함하는 온라인 담화의 복잡성으로 인해 종종 어려움을 겪습니다. 또한, 표준 관계 추출 방법들은 개체 간의 구조적 맥락을 효과적으로 활용하지 못하는 경우가 많습니다. 저자들은 주어와 목적어를 연결하는 의미 의존성 그래프 내의 경로 상에 있는 개체 및 관계에 대한 지식이 이들 간의 의미 관계를 결정하는 데 중요한 정보를 제공한다고 주장합니다.

방법론

본 논문은 의미 의존성 그래프에서의 경로 탐색과 그래프 임베딩 기법을 결합한 지도 학습 파이프라인인 REMOD(온라인 담화 모델링을 위한 관계 추출) 을 소개합니다. 방법론은 다음 단계를 거쳐 진행됩니다:

1. 의미 구문 분석: 자연어 단편들은 담화 표현 이론에 기반한 기계 독해 도구인 FRED를 사용하여 처리됩니다. FRED 는 텍스트를 개체에 대한 노드와 의미 관계를 위한 간선을 포함하는 리소스 기술 프레임워크 (RDF) 그래플릿 (방향성 비순환 그래프) 으로 변환합니다.
2. 코퍼스 그래프 구성: 대규모 코퍼스 (Google Relation Extraction Corpus - GREC) 에서의 개별 RDF 그래플릿은 단일 "코퍼스 그래프"로 연결됩니다. 동일한 개체를 나타내는 중복 노드 (예: fred:Doctorate 및 dbpedia:Doctorate) 는 해당 온톨로지 URI 를 사용하여 단일 정점으로 축소됩니다.
3. 노드 임베딩: Node2Vec 알고리즘이 코퍼스 그래프에 적용되어 각 노드에 대한 고차원 벡터 표현 (임베딩) 을 생성합니다. 저자들은 그래프의 "전역" 위상 구조를 포착하기 위해 반환 매개변수 ($p=2$) 와 in-out 매개변수 ($q=3$) 를 최적화하기 위해 그리드 탐색을 수행했습니다. 결과적으로 생성된 벡터는 256 차원입니다.
4. 경로 탐색 및 벡터 생성: 주어진 주장에 대해 원래 RDF 그래플릿에서 주어와 목적어 노드가 식별됩니다. 이들 노드 간의 최단 무방향 경로가 계산됩니다. 관계에 대한 최종 특징 벡터는 이 최단 경로상의 노드 임베딩을 평균화하여 생성됩니다:
   $$\frac{1}{n} \sum_{i=1}^{n} \vec{v}_i$$
5. 관계 분류: 생성된 경로 벡터는 다양한 분류기 (로지스틱 회귀, $k$-NN, SVM, 랜덤 포레스트, 결정 트리, 그리고 와이드 신경망) 에 입력되어 의미 관계 (예: placeOfBirth, education) 를 예측합니다.
6. 사실 확인 통합: 추출된 삼중체는 지식 베이스에 대한 주장의 유효성을 검증하기 위해 상용 사실 확인 알고리즘 (Knowledge Linker, Relational Knowledge Linker, Knowledge Stream) 에 입력됩니다.

주요 기여

• 새로운 관계 추출 접근법: 본 논문은 의미 의존성 그래프 내 개체 간의 "최단 경로"를 활용하고 Node2Vec 임베딩과 결합하여 관계를 추출하는 방법을 제안합니다. 이는 단순한 텍스트 기반 특징을 넘어 구조적 그래프 정보를 활용하는 것을 의미합니다.
• 파이프라인 통합: 저자들은 원시 텍스트에서 검증된 주장으로 이어지는 자동화된 사실 확인과 관계 추출을 통합하는 기능적 파이프라인을 시연합니다.
• 데이터셋 증강: 저자들은 현대 지식 베이스 (DBpedia/Wikidata) 에 대해 "기계 준비"가 되도록 Google Relation Extraction Corpus (GREC) 를 업데이트하여 원본 데이터셋의 개체 링크 제한 사항을 해결했습니다.

결과

본 논문은 두 가지 주요 작업에 대한 성능을 보고합니다:

1. 관계 분류 (GREC 기준):

   • **와이드 딥 신경망 (Wide DNN)**이 AUC 0.976으로 가장 좋은 성능을 달성했습니다.
   • 이는 Word2Vec 임베딩을 사용한 베이스라인 (AUC 0.883) 과 SVM 과 같은 다른 분류기 (AUC 0.855) 보다 현저히 우수한 성능입니다.
   • 저자들은 무방향, 무가중 그래프 표현이 가장 좋은 결과를 낳았다고 발견했는데, 이는 방향성 간선과 각도 거리를 기반으로 한 간선 가중치가 사용 가능한 경로를 제한하거나 노이즈를 도입했을 가능성을 시사합니다.

2. 실제 세계 주장에의 적용 (ClaimReview):

   • 사실 확인 기관들이 주석한 28 개의 실제 세계 주장에 적용되었을 때, 모델은 관계 추출에 대해 AUC 0.958을 달성했습니다.
   • 사실 검증: 추출된 삼중체가 증거로 작용하는 주장 (13 개) 의 경우, Relational Knowledge Linker와 Knowledge Stream 알고리즘은 AUC 0.773을 달성했습니다.
   • 사실 확인 (종단 간): 삼중체가 주장을 완전히 나타내는 7 개의 주장 하위 집합의 경우, 시스템은 Relational Knowledge Linker 를 사용하여 검증 AUC 0.833을 달성했습니다. 이 성능은 기존 사실 확인에 의존하는 골드 스탠다드 주장 매칭 베이스라인과 비교하거나 초과했으며, 이전에 확인된 주장의 코퍼스를 요구하지 않았습니다.

의의 및 주장

저자들은 REMOD 이 비구조화된 텍스트를 구조화된 의미 삼중체로 축소함으로써 온라인 담화를 모델링하는 강력한 방법을 제공한다고 주장합니다. 이 작업의 의의는 다음과 같습니다:

• 확장성: 이전보다 더 넓은 범위의 온라인 담화 샘플을 처리할 수 있는 능력으로, 허위 정보의 정량적 분석을 용이하게 합니다.
• 자동화: 이 파이프라인은 ClaimBuster 와 같이 사전에 존재하는 사실 확인 데이터베이스와의 매칭에 엄격히 의존하지 않고, 지식 그래프의 구조적 무결성에 대한 주장 검증을 통해 자동화된 사실 확인의 개념 증명 (proof-of-concept) 을 제공합니다.
• 효율성: 이 방법은 주장의 초기 식별 및 검증을 자동화함으로써 허위 정보의 확산과 정정 사항의 등장 사이의 시간 지연 (현재 약 15 시간) 을 줄이는 것을 목표로 합니다.

저자들은 FRED 의 개체 링크 오류와 같은 다단계 파이프라인에 내재된 "연쇄적 실패"와 Node2Vec 이 재학습 없이 보지 못한 노드에 일반화할 수 없다는 한계를 인정합니다. 향후 작업은 GraphSAGE 와 같은 귀납적 학습 프레임워크와 트랜스포머 기반 모델을 포함할 수 있다고 제안합니다.