기술 요약: GLiNER-Relex

문제 정의

비정형 텍스트로부터의 정보 추출 (IE) 은 지식 그래프 구축과 질문 응답, 검색 증강 생성 (RAG) 과 같은 하위 애플리케이션을 가능하게 하는 데 필수적입니다. 전통적으로 개체명 인식 (NER) 과 관계 추출 (RE) 은 별도의 작업으로 간주되며, 종종 파이프라인 방식을 통해 구현됩니다. 모듈식이라는 장점이 있음에도 불구하고, 파이프라인은 개체 식별 단계의 오류가 관계 분류 단계로 연쇄적으로 전파되는 오류 전파 현상을 겪습니다.

최근 제로샷 (zero-shot) 접근법인 GLiNER 프레임워크와 같은 방법들은 공유 인코더 내에서 텍스트와 개체 유형 레이블을 통합하여 재학습 없이 임의의 개체 유형을 인식하는 데 성공했습니다. 그러나 GLiNER 생태계는 단일 순전파 (forward pass) 에서 공유 표현을 통해 개체 인식과 관계 추출을 모두 수행하는 진정한 통합 모델이 부재했습니다. 기존 솔루션들은 별도의 모델에 의존하거나 (예: 사전 식별된 개체가 필요한 GLiREL), 레이블 연결을 통해 관계를 암시적으로 인코딩하여 명시적인 개체 쌍 모델링 없이 RE 를 스펙 추출 문제로 축소하는 방식이었습니다.

방법론

GLiNER-Relex 는 GLiNER 프레임워크를 확장하여 NER 과 RE 를 동시에 수행하는 통합 아키텍처입니다. 이 모델은 추론 시 사용자 지정 자연어 레이블을 개체 유형과 관계 유형 모두에 대해 받아들이는 제로샷 환경에서 작동합니다.

아키텍처

이 프레임워크는 다음 다섯 가지 주요 구성 요소로 이루어집니다:

1. 통합 입력 표현: 입력 시퀀스는 세 가지 세그먼트를 연결합니다: [ENT] 접두사가 붙은 개체 유형 레이블, [REL] 접두사가 붙은 관계 유형 레이블, 그리고 입력 텍스트입니다. 이 레이아웃은 공유 양방향 트랜스포머 인코더 (구현에서는 DeBERTa-v3-large) 내에서 텍스트, 개체 유형, 관계 유형 간의 교차 주의를 가능하게 합니다.
2. 공유 인코더: 인코더는 통합 시퀀스를 처리하여 컨텍스트화된 은닉 상태를 생성합니다. 이러한 상태는 단어 임베딩, [ENT] 토큰에서 추출된 개체 유형 임베딩, 그리고 [REL] 토큰에서 추출된 관계 유형 임베딩으로 분리됩니다.
3. 개체 추출: 표준 GLiNER 스펙 기반 접근법을 따르며, 모델은 최대 너비 ($W=12$) 까지의 모든 후보 스펙에 대한 표현을 구성합니다. 개체 점수는 스펙 표현과 투영된 개체 유형 임베딩 간의 점곱 유사도를 통해 계산됩니다.
4. 개체 쌍 구성: 모델은 관계를 평가할 인식된 개체 쌍을 식별합니다. 공개된 체크포인트는 모든 쌍 열거 (all-pairs enumeration) 전략을 사용하여 인식된 개체의 모든 순서쌍을 생성합니다. 또한, 이 프레임워크는 Dot-product, Bilinear, MLP, Attention, GCN, GAT 와 같은 디코더를 사용하여 불확실한 쌍을 제거하는 선택적 인접성 기반 선택 (adjacency-guided selection) 모듈을 지원하지만, 공개된 모델에서는 활성화되지 않았습니다.
5. 관계 점수 매기기: 선택된 개체 쌍에 대해 모델은 관계 유형 임베딩과 비교하여 점수를 매깁니다. 공개된 모델은 쌍 표현 레이어 (Pair Representation Layer) 를 사용하며, 여기서 헤드와 테일 개체 표현이 연결되고 MLP 를 통해 투영되어 통합된 쌍 표현을 형성합니다. 이는 점곱을 통해 관계 유형 임베딩과 비교하여 점수가 매겨집니다. 또한 이 프레임워크는 TransE, DistMult 변형과 같은 지식 그래프에서 영감을 받은 트리플 점수 함수를 대안으로 지원합니다.

학습 목표

모델은 클래스 불균형을 처리하기 위해 포칼 손실 (focal loss) 을 사용하는 개체 추출 손실 ($L_{ent}$) 과 관계 분류 손실 ($L_{rel}$) 을 결합한 다중 작업 목표 하에 학습됩니다. 공개된 체크포인트는 인접성 손실 ($\lambda_A = 0$) 을 생략하고 $L = \lambda_E L_{ent} + \lambda_R L_{rel}$에 집중합니다.

데이터 전략

학습은 대규모 언어 모델 (LLM) 을 통해 FineWeb 코퍼스로부터 생성된 합성 데이터를 사용하는 2 단계 파이프라인을 따릅니다:

• 1 단계 (사전 학습): Qwen3-32B 에 의해 주석된 약 100 만 개의 문장과 5 만 개의 전체 문서.
• 2 단계 (파인튜닝): Gemini 를 사용한 다단계 파이프라인을 통해 큐레이션된 약 3,000 개의 고품질 예제 데이터셋으로, 일관성을 보장하기 위해 추출 및 수정 단계를 거칩니다.

주요 기여

1. 통합 아키텍처: 개체 인식과 관계 추출을 동시에 수행하는 단일 인코더 기반 모델로, 단계 간 오류 전파를 제거합니다.
2. 제로샷 능력: 추론 시 자연어 레이블을 통해 지정된 임의의 개체 및 관계 유형을 재학습 없이 지원합니다.
3. 관계 점수 매기기 메커니즘: 보이지 않는 관계 유형으로의 제로샷 일반화를 가능하게 하는 전용 관계 점수 매기기 모듈 (특히 쌍 표현 레이어) 을 도입했습니다.
4. 종합적 평가: 전문 모델 (GLiREL, GLiNER2) 과 대규모 언어 모델 (GPT-5-mini) 에 대한 네 가지 표준 데이터셋 (CoNLL04, DocRED, FewRel, CrossRE) 에서의 벤치마크 평가.
5. 오픈소스 공개: 결합 추출을 위한 간단한 API 를 갖춘 Python 패키지로 공개되었습니다.

실험 결과

모델은 네 가지 벤치마크에 걸쳐 제로샷 환경에서 평가되었습니다:

• CoNLL04: GLiNER-Relex 는 **40.4%**의 마이크로 F1 점수를 기록하여 GPT-5-mini(42.4%) 에 근접했고, GLiNER2(32.9%) 보다 크게 우세했습니다.
• DocRED: 모델은 **31.3%**의 마이크로 F1 점수를 기록하여 GPT-5-mini(18.6%) 와 GLiNER2(11.7%) 를 크게 앞질렀으며, 문서 수준의 추론에서 강력한 능력을 입증했습니다.
• FewRel: GLiNER-Relex 는 **12.5%**를 기록하여 GPT-5-mini(15.0%) 와 GLiNER2(20.8%) 에 뒤처졌습니다. 저자들은 이는 부분적으로 사전 식별된 개체를 선호하는 벤치마크 설계 (골드 개체를 가진 GLiREL 은 24.0% 점수를 기록함) 와 세밀한 Wikidata 유형의 어려움 때문이라고 지적합니다.
• CrossRE: 모델은 **18.1%**로 최고의 성능을 기록하여 GPT-5-mini(12.4%) 와 GLiNER2(6.0%) 를 앞질렀으며, 강력한 도메인 간 전이 능력을 강조했습니다.

효율성: 홀드아웃 세트에서의 처리량 비교에서 GLiNER-Relex 는 단일 NVIDIA L4 GPU 에서 초당 1.11 문서의 처리량을 기록한 반면, API 를 통한 GPT-5-mini 는 초당 0.016 문서에 그쳐 속도 면에서 약 70 배의 우위를 보였습니다.

중요성과 주장

이 논문은 GLiNER-Relex 가 효율적인 인코더 기반 모델과 통합된 제로샷 정보 추출의 필요성 사이의 간극을 메운다고 주장합니다. 그 중요성은 다음과 같습니다:

• 오류 전파 제거: 단일 인코더 내에서 NER 과 RE 를 통합하여 모델링함으로써 파이프라인 방식에서 발생하는 전형적인 연쇄 오류를 피합니다.
• 확장성과 비용: 인코더 기반 아키텍처는 자기회귀형 LLM 에 비해 수배에서 수십 배의 속도 향상과 더 낮은 계산 비용을 제공하여, 지식 그래프 구축과 같은 대용량 파이프라인에 적합합니다.
• 유연성: 제로샷 공식은 재학습 없이 자연어 레이블만 변경함으로써 새로운 도메인과 스키마에 적응할 수 있게 합니다.
• 성능: 이 모델은 전문 관계 분류기 및 대규모 언어 모델과 비교하여 경쟁력 있고 종종 우수한 성능을 보여주며, 특히 문서 수준 및 도메인 간 시나리오에서 두드러집니다.

저자들은 GLiNER-Relex 를 다양한 도메인의 비정형 텍스트에서 구조화된 지식을 추출해야 하는 GraphRAG 시스템 및 기타 애플리케이션을 위한 실용적이고 효율적인 백본으로 위치시키고 있습니다.