💬 NLP

The Million-Label NER: Breaking Scale Barriers with GLiNER bi-encoder

이 논문은 수백만 개의 레이블을 효율적으로 처리하면서도 제로샷 성능을 유지하기 위해 기존 GLiNER 의 제약을 극복한 'GLiNER-bi-Encoder' 아키텍처와 대규모 지식 베이스를 위한 'GLiNKER' 프레임워크를 제안합니다.

원저자: Ihor Stepanov, Mykhailo Shtopko, Dmytro Vodianytskyi, Oleksandr Lukashov

게시일 2026-02-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ihor Stepanov, Mykhailo Shtopko, Dmytro Vodianytskyi, Oleksandr Lukashov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📝 백만 개의 라벨을 한 번에! 'GLiNER-bi-Encoder'의 비밀

이 논문은 인공지능이 텍스트에서 **특정 정보 (예: 사람 이름, 약물명, 회사명 등) 를 찾아내는 기술 (NER)**을 획기적으로 발전시킨 새로운 방법론을 소개합니다. 기존 방식의 한계를 깨고, 수백만 개의 정보 유형을 실시간으로 처리할 수 있게 된 것이 핵심입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "모든 것을 한 번에 기억하는 건 불가능해!" 🤯

과거의 인공지능 (기존 GLiNER) 은 텍스트를 읽을 때, **"이 문장에서 찾아야 할 단어들이 뭐지?"**를 매번 새로 생각했습니다.

비유: 식당에 손님이 오면, 웨이터가 메뉴판 (10 개) 을 들고 와서 "오늘 메뉴는 A, B, C..."를 다 외우고 주문을 받습니다. 메뉴가 10 개일 때는 괜찮지만, 메뉴가 100 만 개로 늘어난다면? 웨이터는 주문을 받기 전에 메뉴를 다 외우는 데만 몇 시간이 걸려버립니다. 손님은 기다리다 지쳐서 떠날 수밖에 없죠.

이게 바로 기존 방식의 문제였습니다. 찾아야 할 정보 (라벨) 가 늘어나면 처리 속도가 기하급수적으로 느려졌습니다.

2. 해결책: "사전 준비된 카드"를 쓰는 새로운 방식 🃏

이 논문에서 제안한 GLiNER-bi-Encoder는 아주 똑똑한 전략을 썼습니다. **"찾아야 할 것 (라벨) 과 문장 (텍스트) 을 따로따로 준비하자!"**는 것입니다.

비유 (이중 구조):
이제 식당은 두 명의 직원이 일합니다.
1. 메뉴 전문가 (Label Encoder): 메뉴판 (라벨) 을 미리 다 외워서 카드로 만들어 둡니다. "A 메뉴는 이 모양, B 메뉴는 저 모양"이라고 카드에 적어두죠. 이 카드는 한 번 만들어지면 영원히 쓸 수 있습니다.
2. 주문 전문가 (Text Encoder): 손님이 오면 주문 내용 (텍스트) 만 보고 "아, 이 손님이 'A 메뉴'를 원할 것 같다"라고 카드와 비교합니다.

이제 메뉴가 100 만 개로 늘어도, 메뉴 전문가는 이미 카드를 다 만들어 놨기 때문에 손님이 오자마자 "카드 100 만 개 중 가장 비슷한 것"을 찾아주면 됩니다. 주문을 받기 위해 메뉴를 다시 외울 필요가 전혀 없습니다!

3. 왜 이것이 혁신적인가요? 🚀

① 속도가 미친 듯이 빨라졌습니다 (130 배!)

기존 방식은 메뉴가 1,024 개가 되면 속도가 거의 멈추는 수준이었지만, 이 새로운 방식은 메뉴가 100 만 개가 되어도 거의 같은 속도로 처리합니다.

결과: 기존보다 130 배 더 빠른 처리 속도를 달성했습니다. 이는 마치 우편물을 분류할 때, 편지 1 통을 읽는 데 걸리는 시간이 편지 100 만 통을 분류할 때와 거의 똑같다는 뜻입니다.

② "영문자"도 잘 알아챕니다 (Zero-shot)

이 모델은 새로운 분야의 전문 용어를 배운 적이 없어도, 그 용어의 **의미 (카드)**만 알려주면 찾아낼 수 있습니다.

예시: "의약품"이라는 개념을 설명해 주면, 의약학 논문에서 약품 이름을 찾아냅니다. "법률 용어"를 설명해 주면 법조문에서 찾아냅니다. 별도의 학습 없이도 즉각적으로 적응합니다.

③ 실생활에 바로 쓸 수 있습니다 (GLiNKER)

이 기술은 단순히 이름만 찾는 게 아니라, 찾아낸 정보를 거대한 지식 데이터베이스 (위키데이터 등) 와 연결하는 엔티티 링크링에도 쓰입니다.

비유: "애플"이라는 단어를 봤을 때, "과일"인지 "회사"인지 구분하고, 회사라면 "애플 사"라는 구체적인 정보와 연결해 주는 것입니다. 이제 이 연결 작업도 수백만 개의 데이터베이스에서 실시간으로 가능합니다.

4. 요약: 무엇이 달라졌나요?

구분	기존 방식 (Uni-Encoder)	새로운 방식 (Bi-Encoder)
방식	메뉴와 주문을 함께 외움	메뉴는 미리 카드로, 주문은 실시간으로
메뉴 100 개	느림	빠름
메뉴 100 만 개	정지 (불가능)	거의 같은 속도 (실시간 가능)
적용 분야	소규모 데이터	전 세계 지식 (의학, 법률, 기업 등)

🌟 결론

이 논문은 **"인공지능이 방대한 지식을 다룰 때, 무조건 머리를 많이 쓰는 게 아니라, 미리 정리된 자료를 활용하는 지혜"**를 보여주었습니다.

이 기술 덕분에 앞으로는 수백만 개의 전문 용어가 섞인 복잡한 문서에서도, 인공지능이 순식간에 중요한 정보를 찾아내어 의료 진단, 금융 분석, 법률 검토 등 고난도 업무에 바로 투입될 수 있게 되었습니다. 마치 수천 권의 책을 한 번에 훑어보며 필요한 페이지를 찾아내는 마법과 같습니다.

1. 문제 정의 (Problem)

기존의 제로샷 (Zero-shot) 명명 개체 인식 (NER) 모델인 GLiNER은 텍스트와 엔티티 레이블을 단일 트랜스포머 (Uni-encoder) 를 통해 함께 인코딩하는 방식을 사용합니다. 이 방식은 강력한 일반화 능력을 제공하지만, 확장성 (Scalability) 에 치명적인 한계가 있습니다.

이차 복잡도 (Quadratic Complexity): 입력 텍스트와 모든 엔티티 레이블을 동시에 처리해야 하므로, 레이블 수 ( $m$ ) 가 증가함에 따라 계산 복잡도가 $O((n+m)^2)$ 로 급격히 증가합니다.
실제 적용의 어려움: 수천 개에서 수백만 개에 이르는 엔티티 타입 (예: UMLS 의 400 만 개 개념, 기업용 지식 베이스) 을 실시간으로 처리할 경우, 메모리 및 계산 자원의 제약으로 인해 추론 속도가 극도로 느려지거나 불가능해집니다.
기존 대안의 한계: 생성형 LLM 은 유연하지만 계산 비용이 높고 구조화된 출력 일관성이 부족하며, 기존 GLiNER 은 레이블 수가 많을 때 성능이 급격히 저하됩니다.

2. 방법론 (Methodology)

이 논문은 이러한 한계를 극복하기 위해 GLiNER-bi-Encoder라는 새로운 아키텍처를 제안합니다. 핵심은 텍스트와 레이블 인코딩을 **분리 (Decoupling)**하는 것입니다.

2.1. 바이-인코더 (Bi-Encoder) 아키텍처

분리된 인코더:
- 텍스트 인코더 (Text Encoder): 입력 텍스트 시퀀스를 처리하여 스패너 (span) 표현을 생성합니다.
- 레이블 인코더 (Label Encoder): 엔티티 타입 설명 (예: "person", "chemical compound") 을 독립적으로 인코딩합니다.
프리컴퓨팅 (Pre-computation) 및 캐싱: 레이블 인코딩은 입력 텍스트와 무관하므로, 레이블 임베딩을 오프라인에서 미리 계산하여 캐시할 수 있습니다. 이는 추론 시 레이블 수에 따른 계산 부하를 제거합니다.
스코어링 (Scoring): 최종 단계에서 텍스트 임베딩과 미리 계산된 레이블 임베딩을 점곱 (Dot-product) 또는 선택적 크로스 어텐션 (Cross-attention) 을 통해 결합하여 엔티티 매칭 점수를 계산합니다.
복잡도 개선: 텍스트 인코딩은 $O(n^2)$ 으로 고정되며, 레이블 수 ( $m$ ) 에 무관하게 처리됩니다. 레이블 검색은 효율적인 근접 이웃 검색 (Nearest-neighbor search) 으로 수행됩니다.

2.2. 모델 구성 및 훈련

모델 변형: ModernBERT 아키텍처 기반의 4 가지 크기 (Edge, Small, Base, Large) 모델과 다양한 Sentence Transformer 계열 (BGE, MiniLM 등) 의 레이블 인코더를 조합했습니다.
훈련 전략:
- 포칼 로스 (Focal Loss): 클래스 불균형 문제 해결.
- 네거티브 샘플링: 스패너 후보의 제곱 수를 줄이기 위해 확률적 마스킹 적용.
- 데이터: 800 만~1 천만 개의 사전 훈련 데이터와 4 만 개의 고품질 후속 훈련 데이터 (긴 컨텍스트 지원) 를 사용.
GLiNKER: 제안된 아키텍처를 활용한 모듈형 엔티티 링킹 (Entity Linking) 프레임워크로, 위키데이터 (Wikidata) 와 같은 대규모 지식 베이스에서의 엔티티 연결을 지원합니다.

3. 주요 기여 (Key Contributions)

확장성 장벽 돌파: 수백만 개의 레이블을 처리할 수 있는 아키텍처를 설계하여, 기존 GLiNER 의 이차 복잡도 문제를 해결했습니다.
압도적인 추론 속도 향상:
- 1,024 개의 레이블에서 기존 Uni-encoder 대비 최대 130 배의 처리량 (Throughput) 향상을 달성했습니다.
- 레이블 수가 1 개에서 1,024 개로 증가해도 프리컴퓨팅을 사용할 경우 처리량 감소가 5.2% 미만에 그치는 반면, 기존 모델은 98.7% 감소했습니다.
SOTA 성능 유지: 아키텍처를 분리했음에도 불구하고, CrossNER 벤치마크에서 61.5% Micro-F1을 기록하여 기존 GLiNER 모델 (60.9%) 보다 우수한 제로샷 성능을 입증했습니다.
엔티티 링킹 프레임워크 (GLiNKER): 대규모 지식 베이스에서의 엔티티 링크를 위한 모듈형 파이프라인을 제공하여, NER 과 엔티티 링킹을 단일 아키텍처로 통합했습니다.

4. 실험 결과 (Results)

성능 (Zero-shot NER):
- CrossNER 벤치마크: Large 모델이 61.5% F1 을 기록하여 기존 GLiNER-Large(60.9%) 를 상회했습니다.
- 도메인 일반화: 생물의학 (GENIA_NER, bc5cdr), 소셜 미디어, 뉴스 등 다양한 도메인에서 강력한 일반화 능력을 보였습니다. 특히 생물의학 도메인에서 모델 크기 증가에 따른 성능 향상 (스케일링 효과) 이 두드러졌습니다.
속도 및 확장성 (Inference Speed):
- H100 GPU 기준: 1,024 개 레이블에서 gliner-bi-large-v2.0(프리컴퓨팅) 은 초당 2.64 개 샘플을 처리한 반면, 기존 gliner_large-v2.5는 0.03 개에 불과했습니다 (88 배 향상).
- 소규모 모델: Edge 모델은 1,024 개 레이블에서 18.3 예/초를 처리하여, 기존 소형 모델 (0.14 예/초) 대비 130 배 빠른 성능을 보였습니다.
효율성: 100 개 엔티티 타입을 처리하는 생산 환경에서, 바이-인코더는 기존 방식 대비 5.3 배 높은 처리량을 제공하여 하루 196 만 건의 예측을 가능하게 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 NLP 분야에서 모듈형 (Modular) 및 분해 가능한 아키텍처의 중요성을 강조합니다.

실용적 배포: 수백만 개의 엔티티 타입을 가진 대규모 지식 베이스 (UMLS, 기업 지식 그래프 등) 에서 실시간 NER 및 엔티티 링킹이 가능해졌습니다. 이는 기존에는 계산 비용 때문에 불가능했던 시나리오를 실현 가능하게 합니다.
비용 효율성: 동적 레이블 업데이트 시 전체 모델을 재학습할 필요 없이 해당 레이블 임베딩만 갱신하면 되어 유지보수 비용이 크게 절감됩니다.
미래 지향성: 바이-인코더 방식은 NER 을 넘어 구조화된 예측 작업 전반에 적용 가능한 패러다임으로, 리소스가 제한된 환경에서도 고성능 NLP 시스템 배포를 가능하게 하여 NLP 기술의 민주화에 기여합니다.

결론적으로, GLiNER-bi-Encoder는 확장성과 효율성을 동시에 달성하면서도 최고 수준의 정확도를 유지하는 획기적인 솔루션으로, 대규모 정보 추출 (Information Extraction) 시스템의 새로운 표준이 될 것으로 기대됩니다.