글을 읽을 때 우리는 "그 후 (After)", "그 전에 (Before)", "그때 (When)" 같은 명확한 시간 표시어만 보고 사건의 순서를 파악합니다. 하지만 실제 글에서는 이런 표시어가 거의 없습니다.
예시: "그는 돈을 썼다."와 "그는 차를 팔았다."라는 문장이 있을 때, 표시어는 없지만 우리는 문맥을 통해 "돈을 쓰기 전에 차를 팔았을 것"이라고 추론합니다.
기존 AI 의 한계: 기존의 AI 는 문장 전체를 훑어보며 "가장 눈에 띄는 단어"를 찾아냅니다. 마치 전체 교실의 소음 중 가장 큰 목소리만 듣는 것과 같습니다. 하지만 두 사건 사이의 관계를 결정하는 건 큰 소리가 아니라, 두 사람 사이에서 오가는 아주 작은 눈빛이나 제스처일 수 있습니다. 기존 AI 는 이 미세한 신호를 놓쳐버립니다.
🌿 2. WISTERIA 의 등장: "관계에 맞춰 초점을 맞추는 마법 안경"
저자들은 이 문제를 해결하기 위해 WISTERIA라는 모델을 만들었습니다. 이 모델의 핵심 아이디어는 **"각 사건 쌍 (Pair) 에 맞춰서만 집중한다"**는 것입니다.
🎯 비유: "수사관과 증거 수집"
기존 AI: 교실 전체를 훑어보며 "누가 가장 크게 말했나?"를 찾습니다. (전체적인 중요도)
WISTERIA: 두 사람 (사건 A 와 사건 B) 의 관계를 수사하는 수사관처럼 행동합니다.
"이 두 사람 사이의 관계를 밝히려면, 이 특정 단어들이 가장 중요한 단서일 거야."라고 생각하며, 문장 전체에서 가장 중요한 단서 (Top-K) 몇 가지만 골라냅니다.
마치 마법 안경을 써서, 두 사건 사이의 연결고리가 되는 단어만 빛나게 하고 나머지는 흐리게 만드는 것과 같습니다.
🔍 3. 어떻게 작동할까? (핵심 기술)
이 모델은 세 가지 단계로 작동합니다.
짝을 짓기 (Pair Conditioning):
"사건 A"와 "사건 B"가 짝을 이루면, 이 두 사건 사이의 관계를 설명할 수 있는 단서만 찾아냅니다.
비유: 두 사람 사이의 비밀을 풀려면, 그들 사이의 대화 내용만 집중해서 들어야지, 옆방에서 떠드는 소리를 들을 필요가 없습니다.
가장 중요한 단서 10 개만 고르기 (Top-K Pooling):
문장에 있는 모든 단어를 다 분석하는 게 아니라, 두 사건 관계를 설명하는 데 **가장 중요한 단어 10 개 (Top-K)**만 골라냅니다.
비유: 방대한 도서관에서 책 전체를 읽는 대신, 정답이 적힌 페이지 10 장만 발췌해서 읽는 것과 같습니다. 이렇게 하면 빠르고 정확합니다.
언어학자의 눈으로 확인하기 (Interpretability):
단순히 "이게 정답이다"만 말하는 게 아니라, **"왜 이 단어가 정답인지"**를 언어학적으로 설명합니다.
비유: "이 단어가 정답인 이유는 이 단어가 '과거형'을 나타내거나, '이전'을 의미하는 전치사이기 때문입니다"라고 이유를 설명해 줍니다.
📊 4. 결과는 어땠을까?
저자들은 이 모델을 여러 데이터셋 (뉴스 기사, 일기 등) 으로 테스트했습니다.
성능: 기존에 가장 잘하던 모델들과 비슷하거나 더 좋은 점수를 받았습니다.
이해 가능성: AI 가 왜 그런 결론을 내렸는지 이유를 명확하게 보여줍니다.
예시: "사건 A 가 사건 B 보다 먼저 일어났다"고 판단했을 때, AI 는 **"이유: 'as(～하는 동안)'라는 연결사와 '과거형 동사'가 이 두 사건을 연결했기 때문입니다"**라고 알려줍니다.
💡 5. 요약: 왜 이 연구가 중요한가?
이 연구는 AI 가 단순히 "정답"만 맞추는 것을 넘어, 사람처럼 "이유"를 찾아내는 과정을 보여줍니다.
기존 방식: "전체 소음 중 큰 소리만 듣는다." (정답은 맞을 수 있지만, 왜 맞는지 모름)
WISTERIA 방식: "두 사람 사이의 비밀스러운 대화만 집중해서 듣고, 그 이유를 설명해 준다." (정답도 맞추고, 이유도 설명함)
결론적으로, WISTERIA 는 복잡한 시간 관계를 파악할 때 불필요한 정보에 흔들리지 않고, 두 사건을 연결하는 핵심 단서만 골라내는 똑똑하고 투명한 AI입니다. 이는 향후 의료 기록 분석, 사건 사고 재구성 등 정확한 시간 순서가 중요한 분야에서 큰 도움을 줄 것으로 기대됩니다.
1. 연구 배경 및 문제 정의 (Problem)
시간 관계 추출 (Temporal Relation Extraction, TRE) 은 텍스트 내의 두 사건 (event) 또는 시간 표현 간의 시간적 관계 (이전, 이후, 동시 등) 를 식별하고 분류하는 자연어 처리 (NLP) 의 핵심 작업입니다.
기존 모델의 한계: 기존 주의 (Attention) 기반 모델들은 문장 전체의 전역적 (globally) 으로 중요한 토큰에 주의를 기울이는 경향이 있습니다. 그러나 실제 시간 관계를 결정하는 것은 특정 쌍 (pair) 에만 국한된 신호인 경우가 많습니다.
명시적 vs 암시적 신호: 기존 연구들은 'before', 'after', 'when'과 같은 명시적 (explicit) 시간 신호어에 의존합니다. 하지만 실제 텍스트에서는 이러한 신호어가 드물며, annotator 들은 문법적 구조나 상식적 추론을 통해 암시적 (implicit) 신호를 통해 관계를 유추합니다.
해석 가능성 부족: 기존 Transformer 기반 모델은 높은 성능을 보이지만, 왜 특정 토큰이 시간 관계 판단에 기여했는지에 대한 쌍별 (pair-specific) 근거를 명확히 제공하지 못합니다.
2. 제안 방법론 (Methodology: WISTERIA)
저자들은 WISTERIA (Weak Implicit Signal-based Temporal Relation Extraction with Attention) 라는 경량화되고 해석 가능한 프레임워크를 제안합니다. 핵심 아이디어는 전역적 중요도 모델링이 아닌, 관계 조건부 (relation-conditioned) 증거 모델링으로의 전환입니다.
주요 구성 요소:
맥락 구성 (Context Construction):
두 개체 (entity) e1,e2 사이의 동적 윈도우를 추출합니다. 개체가 가까우면 단일 윈도우, 멀면 두 개의 하위 윈도우를 연결합니다.
개체 범위를 [E1], [/E1], [E2], [/E2] 같은 특수 토큰으로 마킹하여 BERT/RoBERTa 와 spaCy 토크나이저를 통해 정렬합니다.
다중 레벨 임베딩 추출 (Multi-level Embedding Extraction):
BERT 의 서브워드 임베딩을 기반으로 어텐션 풀링 (Attention Pooling) 을 통해 단어 레벨 및 개체 레벨 임베딩을 생성합니다.
경량 Transformer 인코더를 통해 맥락화된 표현을 정제합니다.
쌍 조건부 Top-K 어텐션 (Pair-conditioned Top-K Attention) - 핵심 기여:
관계 인식 어텐션: 기존 어텐션이 문장 전체에 분포하는 것과 달리, e1, e2, 그리고 결합된 쌍 표현 (hpair) 을 쿼리로 사용하여 특정 개체 쌍에 맞는 어텐션 분포를 계산합니다.
Top-K 증거 선택: 각 쿼리에 대해 어텐션 점수가 가장 높은 Top-K 개의 컨텍스트 토큰만 선택하여 집계합니다. 이는 문장 전체가 아닌, 해당 쌍의 시간 관계를 설명하는 가장 중요한 국소적 신호만 집중적으로 분석하게 합니다.
레이블 인식 게이팅 (Label-aware Gating): 시간 관계 클래스의 시맨틱 프로토타입으로 레이블 임베딩을 학습하여, 모델이 클래스 수준 시맨틱에 따라 쌍 표현을 조절하도록 돕습니다.