💬 NLP

ReaORE: Reasoning-Guided Progressive Open Relation Extraction Empowered by Large Reasoning Models

ReaORE는 대규모 추론 모델을 활용하여 거친 단계에서 미세한 단계로 이어지는 관계 추론을 수행함으로써 일반화 및 판별 문제를 효과적으로 해결하고, 관계 필터링과 세밀한 예측이라는 2단계 과정을 통해 오픈 관계 추출을 향상시키는 새로운 프레임워크입니다.

원저자: Xin Lin, Liang Zhang, Guoqi Ma, Hongyao Tu, Jinsong Su

게시일 2026-06-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Lin, Liang Zhang, Guoqi Ma, Hongyao Tu, Jinsong Su

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 탐정이 되어 미스터리를 해결하고 있다고 상상해 보세요. 하지만 당신이 찾는 것은 특정 범인이 아니라, 뉴스 기사에 언급된 두 사람 사이의 관계입니다. 문제는? 당신은 이런 유형의 관계를 한 번도 본 적이 없으며, 도움을 받을 수 있는 치트 시트(알려진 관계 목록)도 없다는 것입니다.

이것이 바로 **Open Relation Extraction (OpenRE)**의 과제입니다. 이 논문은 '생각하고 말하기' 전략을 사용하는 고급 AI를 통해 이 문제를 해결하는 새로운 탐정 사무소인 ReaORE(Reasoning-guided Progressive Open Relation Extraction)를 소개합니다.

ReaORE가 어떻게 작동하는지, 비유와 함께 쉬운 단계별로 설명해 드리겠습니다.

문제점: "추측 게임" vs "클러스터링(군집화)"의 함정

ReaORE 이전에는 두 가지 주요 방식의 탐정들이 미스터리를 해결하려 했습니다:

클러스터링 방식: 모든 단서를 거대한 더미에 던져 넣고 얼마나 비슷하게 생겼는지에 따라 그룹을 묶는 것을 상상해 보세요. 마치 양말을 색깔별로 분류하는 것과 같습니다. 문제는? 당신은 양말 더미를 만들었지만, 그것이 무엇인지(예: "양말"인지 "신발"인지) 이름을 알지 못합니다. 나중에 수동으로 라벨을 붙여야 합니다.
직접 추측 방식: 매우 똑똑한 친구(표준 AI)에게 그냥 정답을 바로 외치라고 요청하는 것을 상상해 보세요. 문제는, 만약 답이 까다롭다면(예: "도시에 살기"와 "도시에서 일하기"를 구분하는 것), 그 친구가 충분히 깊이 생각하지 못해 틀린 답을 낼 수 있다는 점입니다.

해결책: ReaORE의 2단계 탐정 프로세스

ReaORE는 다릅니다. 왜냐하면 **대규모 추론 모델(LRM)**을 사용하기 때문입니다. 이 AI를 단순히 똑똑한 친구가 아니라, 정답을 내놓기 전에 길고 상세한 사고 과정을 작성하는 수석 분석가라고 생각하세요. 이 모델은 업무를 두 단계로 나눕니다.

1단계: "필터링" (관계 필터링)

비유: 당신에게 1,000개의 서로 다른 관계 라벨(예: "의 부모이다", "를 위해 일한다", "에 거주한다")이 있는 거대한 도서관이 있다고 상상해 보세요. 당신은 새로운 단서(조직과 국가에 관한 문장)를 얻었습니다. 적절한 것을 찾기 위해 도서관의 모든 책을 다 읽을 수는 없습니다.
ReaORE가 하는 일:
1. 빠른 스캔: AI는 문장을 읽고 세 가지 구체적인 질문을 던집니다.
  - 문장의 의미가 이 관계와 부합하는가?
  - 첫 번째 인물(Head)이 요구되는 역할을 수행할 수 있는가? (예: 조직이 "부모"가 될 수 있는가?)
  - 두 번째 인물(Tail)이 요구되는 역할을 수행할 수 있는가? (예: 국가가 "자녀"가 될 수 있는가?)
2. 점수 산정: 이 체크 항목들을 바탕으로 각 관계에 점수(0, 1, 2 또는 3점)를 부여합니다.
3. 안전망: 단서가 까다로울 경우 AI가 적절한 매칭을 놓칠 수도 있습니다. 그래서, AI는 실수로 정답을 버리지 않도록 "유사성 검색"(사서가 선반에서 비슷한 책을 찾는 것과 같은 방식)을 사용하여 확인합니다.
4. 결과: 이제 1,000개의 옵션 대신, 약 5~6개의 유력한 후보 리스트만 남게 됩니다.

2단계: "결전" (관계 예측)

비유: 이제 당신에게는 5명의 용의자가 담긴 짧은 명단이 있습니다. 그들은 모두 어느 정도 맞아 보이지만, 당신은 단 하나의 진범을 골라내야 합니다.
ReaORE가 하는 일:
- 단순히 즉시 "최선의 것"을 고르는 대신, AI는 용의자들을 링 위에 올리고 쌍별(pairwise)로 맞붙게 만듭니다.
- AI는 질문합니다: "'~~를 위해 일함'과 '~~에 위치함' 중에서, 이 특정 문장에 더 잘 어울리는 것은 무엇인가?"
- AI는 증거를 찾습니다. 예를 들어, "텍로는 '잉글랜드와 웨일스의'라고 언급하고 있는데, 이는 단순한 물리적 위치가 아니라 관할권이나 권위를 암시한다"라고 말합니다.
- 완벽한 답이 존재함에도 불구하고 "적당히 괜찮은" 답을 선택하는 실수를 방지하기 위해, AI는 승자를 찾을 때까지 계속 비교를 이어갑니다.

이것이 왜 중요한가

이 논문은 AI가 단순히 추측하거나 그룹을 짓는 것이 아니라, 단계별로 추론하도록 강제함으로써 이전에 본 적 없는 관계를 훨씬 더 잘 이해하게 된다고 주장합니다.

결과: 테스트 결과, ReaORE는 이전 방식들보다 정확한 관계를 찾아내는 데 더 뛰어난 성능을 보였습니다. 단순히 정답을 맞히는 것에 그치지 않고, 왜 혼란스러운 대안들보다 그 답을 선택했는지 그 이유를 증명하며 자신의 과정을 보여주었습니다.

요약하자면

ReaORE는 추측하기를 거부하는 탐정과 같습니다. 먼저 논리와 규칙을 사용하여 불가능한 용의자들을 필터링합니다. 그런 다음, 남은 용의자들 사이에서 토론을 벌여 누가 증거에 가장 잘 부합하는지 확인합니다. 이러한 "느린 생각" 접근 방식 덕분에, 이 AI는 단순히 추측하거나 그룹을 묶는 방식보다 훨씬 높은 정확도로 새로운 미스터리를 해결할 수 있습니다.

기술 요약: ReaORE: 대규모 추론 모델에 의해 강화된 추론 가이드형 점진적 개방형 관계 추출 (Reasoning-Guided Progressive Open Relation Extraction Empowered by Large Reasoning Models)

문제 정의

개방형 관계 추출(Open Relation Extraction, OpenRE)은 학습 시 보지 못한 관계 유형에 대해 비정형 텍스트 내 헤드 엔티티와 테일 엔티티 사이의 관계를 식별하는 것을 목표로 합니다. 핵심 과제는 보지 못한 관계 유형에 대해 신뢰할 수 있는 일반화 성능을 달side하는 것입니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

클러스터링 기반 방식 (예: SelfORE, RoCORE, ASCORE)은 인스턴스를 잠재 공간(latent spaces)으로 인코딩하고 클러스터링합니다. 이 방식은 유사한 인스턴스들을 그룹화할 수는 있지만, 노동 집약적인 사후 처리 없이 의미론적 관계 레이블을 생성할 수 없으며, 학습 데이터 분포에 과도하게 의존하여 일반화 성능이 떨어지는 경우가 많습니다.
직접 생성 기반 방식 (예: LLM-OREF)은 대규모 언어 모델(LLM)을 활용하여 관계 레이블을 직접 예측합니다. 그러나 이들은 여러 관점에서 인스턴스를 포괄적으로 분석하지 못하기 때문에, 쉽게 혼동될 수 있는 의미론적으로 유사한 관계들을 구별해내는 변별 능력이 부족한 경우가 많습니다.

본 논문은 명시적이고 광범위한 추론 체인(reasoning chains)을 생성하는 능력으로 특징지어지는 **대규모 추론 모델(Large Reasoning Models, LRMs)**이 유망한 해결책을 제공한다고 주장합니다. LRMs는 강력한 분석 및 추론 능력을 갖추고 있어, 관계의 의미와 인스턴스의 특성을 점진적으로 이해할 수 있으며, 이는 OpenRE의 일반화 요구 사항을 해결할 수 있습니다.

방법론: ReaORE 프레임워크

저자들은 명시적인 관계 추론을 통해 조립식(coarse-to-fine) 관계 추출을 수행하는 ReaORE(Reasoning-guided progressive OpenRE) 프레임워크를 제안합니다. 이 과정은 두 개의 뚜렷한 단계로 분해됩니다:

1. 관계 필터링 (Coarse-Grained, 조립식)

목표는 높은 커버리지를 유지하면서 보지 못한 관계 공간으로부터 압축된 후보 집합( $R_c$ )을 구축하는 것입니다. 이 단계는 두 가지 상호 보완적인 단계를 포함합니다:

매칭 기반 추론 ( $M_1$ ): 추론 모델이 입력 문장과 엔티티 쌍을 분석합니다. 모델은 문장의 의미와 엔티티 타입을 이해하기 위해 쿼리 분석을 수행합니다. 그런 다음, 각 후보 관계에 대해 다음 세 가지 측면을 평가하는 추론 흔적(reasoning trace)을 생성합니다:
1. 의미론적 매칭 (Semantic Matching): 관계의 의미가 문장의 사실과 일치하는가?
2. 헤드 엔티티 타입 매칭 (Head-Entity Type Matching): 헤드 엔티티가 관계의 도메인 제약 조건을 충족하는가?
3. 테일 엔티티 타입 매칭 (Tail-Entity Type Matching): 테일 엔티티가 관계의 레인지 제약 조건을 충족하는가?
  각 측면은 이진 점수(0 또는 1)를 산출합니다. 관계는 총 매칭 점수( $S(r) \in \{0, 1, 2, 3\}$ )에 따라 계층화됩니다.
관계 재순위화 (Relation Reranking, $M_2$ ): 이진 매칭에서 놓칠 수 있는 그럴듯한 관계들(예: 암시적 표현으로 인한 경우)을 복구하기 위해, 임베딩 모델( $M_2$ , 구체적으로 BGE-M3)이 티어(tiers)를 보완합니다. 이 모델은 입력 인스턴스와 관계 클러스터를 인코딩하여, 인스턴스 임베딩과 가장 유사한 클러스터를 선택합니다. 선택된 클러스터는 더 높은 티어의 집합에 병합되어 후보 집합을 점진적으로 정교화합니다. 최종 병합된 집합에서 상위- $\xi$ 개의 관계가 $R_c$ 를 형성합니다.

2. 관계 예측 (Fine-Grained, 미세 조정)

후보 집합 $R_c$ 는 대조 추론 모델( $M_3$ )로 전달됩니다. $R_c$ 내의 관계들은 종종 의미론적으로 매우 가깝기 때문에(예: "location" vs "located in the administrative territorial entity"), 직접적인 레이블 생성이 신뢰하기 어려울 수 있습니다.

미세 규모 비교 추론 (Fine-Grained Comparative Reasoning): $M_3$ $M_{3}$ 는 $R_c$ $R_{c}$ 내의 관계들 간에 쌍별 비교(pairwise comparisons)를 수행합니다. 각 쌍에 대해, 모델은 다음 세 가지 기준을 바탕으로 어떤 관계가 문장과 엔티티 제약 조건에 의해 더 잘 뒷받침되는지 판단합니다:
1. 증거 검증 (Evidence Verification): 텍스트 내의 명시적 지지 여부.
2. 의미론적 세밀도 (Semantic Granularity): 두 관계 모두 타당할 경우, 더 구체적인 관계를 선호함.
3. 문맥적 정렬 (Contextual Alignment): 특정 사건이나 구절에 가장 잘 부합하는 관계를 선택함.
모델은 **쌍별 비교 로그(Pairwise Comparison Log)**와 **최종 결정 요약(Final Decision Summary)**을 출력하며, 대안보다 최선의 관계를 선택한 이유를 명시적으로 정당화합니다.

모델 학습

프레임워크는 LoRA를 통한 지도 미세 조정(Supervised Fine-Tuning, SFT)을 거친 두 개의 LRM( $M_1$ 및 $M_3$ )을 활용합니다.

데이터 구축: 교사 모델(Gemini-2.5 Pro)은 오직 알려진(known) 관계 집합( $R_k$ )에서 추출한 레이블된 인스턴스만을 사용하여 추론 체인 데이터를 생성합니다. 학습 과정에서 보지 못한 관계( $R_u$ )의 레이블된 데이터는 사용되지 않습니다.
거부 샘sampling (Rejection Sampling): 추론 결과가 정답 관계(ground-truth relation)로 이어지는 예시들만 유지합니다.
전문화 (Specialization): 매칭 기반 추론(를 위한 $M_1$ )과 미세 규모 비교 추론(를 위한 $M_3$ )을 위해 별도의 데이터셋을 구축합니다.

주요 기여

ReaORE 프레임워크: 관계 필터링과 예측으로 작업을 분해함으로써 보지 못한 관계 유형에 대한 일반화를 향상시키는 추론 기반의 점진적 프레임워크입니다.
미세 규모 대조 추론: 의미론적으로 유사한 관계들을 구별하기 위해 쌍별 비교를 통해 명시적인 판단 증거를 생성하는 전략으로, 직접 생성 방식의 핵심 약점을 해결합니다.
실증적 검증: 두 가지 표준 OpenRE 벤치마크(FewRel 및 TACRED)에 대한 광범위한 실험을 통해, ReaORE가 소규모 언어 모델(SLM) 클러스터링 방식과 LLM 기반 직접 생성 방식을 포함한 기존 베이스라인들을 능가함을 입증했습니다.

실험 결과

본 논문은 FewRel 및 TACRED에서 클러스터링 지표(B3, V-Measure, ARI)와 분류 지표(Precision, Recall, Macro-F1)를 모두 사용하여 ReaORE를 평가합니다.

성능: ReaORE는 두 데이터셋 모두에서 최고 수준(SOTA) 또는 공동 최고 성능을 달성했습니다.
- FewRel에서, V-Measure F1(89.6)과 분류 Macro-F1(84.2)에서 최고치를 기록하며, 최고의 LLM 베이스라인(LLM-OREF)보다 분류 지표에서 우수한 성능을 보였습니다.
- TACRED에서, ReaORE는 B3 F1, V-Measure F1, ARI 및 분류 Macro-F1에서 가장 강력한 종합 성능을 나타내며 최고 점수를 획득했습니다.
절제 연구 (Ablation Studies):
- 관계 재순위화( $M_2$ )를 제거하면 성능이 감소하며, 이는 초기 매칭에서 놓친 그럴듯한 관계를 복구하는 데 있어 해당 단계의 가치를 보여줍니다.
- 관계 필터링( $M_1 + M_2$ )을 제거하고 전체 관계 공간을 $M_3$ 에 입력하면 성능이 크게 하락하며, 이는 효과적인 미세 규모 추론을 위해 압축된 후보 공간이 필수적임을 확인시켜 줍니다.
- 미세 규모 비교 추론( $M_3$ )을 제거하면 성능 저하가 발생하며, 이는 필터링만으로는 의미론적 모호성을 해결할 수 없음을 보여줍니다.
- 중간 추론(Intermediate Reasoning)(추론 흔적 없이 직접 출력하는 방식)을 제거하면 점수가 낮아지며, 이는 추론 체인 자체가 사후 설명이 아니라 결정 과정에 통합된 기능적 구성 요소임을 증명합니다.
확장성: 백본 LRM을 8B에서 14B 파라미터로 확장할 때 성능이 일관되게 향상됩니다.

의의 및 주장

본 논문은 ReaORE가 **의도적인 추론(deliberate reasoning)**을 통해 OpenRE를 강화할 수 있는 실행 가능한 솔루션을 제시한다고 주장합니다. LRM의 깊은 이해 능력을 활용함으로써, 이 프레임워크는 단순한 클러스터링이나 직접 생성을 넘어섭니다. 이 프레임워크는 다음과 같이 OpenRE의 핵심적인 일반화 과제를 명시적으로 해결합니다:

조립식(coarse-to-fine) 추론을 사용하여 관계 후보를 점진적으로 좁히고 정교화합니다.
명시적인 판단 증거를 생성하여 의미론적으로 유사한 관계들을 구별함으로써, 혼동되는 시나리오에서의 오류를 줄입니다.
추론 체인이 단순히 설명적인 도구가 아니라, 보지 못한 관계 유형에 대한 예측의 신뢰도를 높이는 기능적 구성 요소임을 입증합니다.

저자들은 OpenRE에 추론을 통합하는 것이 매우 유망한 연구 방향이며, 전통적인 클러스터링 및 직접 생성 패러다임에 대한 강력한 대안을 제공한다고 결론짓습니다.