💬 NLP

Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER

이 논문은 인과적 대규모 언어 모델이 구조적 변경 없이 전체 양방향 문맥을 허용하도록 입력 텍스트를 결합함으로써 효율적인 최첨단 제로샷 개체명 인식(Named Entity Recognition)을 수행할 수 있게 하는 "Just Pass Twice" (JPT) 방법을 제안하며, 이를 통해 자기회귀 생성의 한계를 극복하는 동시에 20배 이상의 빠른 추론을 달성한다.

원저자: Ahmed Ewais, Ahmed Hashish, Amr Ali

게시일 2026-08-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ahmed Ewais, Ahmed Hashish, Amr Ali

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

언어는 맥락의 그물망이며, 단 하나의 단어의 의미도 종종 그 뒤에 오는 단어들에 전적으로 의존합니다. "파리(Paris)"라는 단어를 생각해 보십시오. 문장 시작 부분에서 이 단어를 마주했을 때, 당신의 뇌는 이것이 프랑스의 수도를 가리키는지, 아니면 새 앨범을 발표한 음악가를 가리키는지 아직 알지 못합니다. 이 모호함을 해결하기 위해, 당신은 문장 전체를 읽어야만 합니다. 수십 년 동안 컴퓨터는 이와 동일한 문제로 고군분투해 왔습니다. 텍스트에서 사람, 장소, 조직의 이름을 찾는 전통적인 도구들은 단어가 나타나는 순서대로 하나씩 뒤를 돌아보며 분석하도록 만들어졌습니다. 그것들은 미래를 볼 수 없었기에, 결정적인 단서가 문장 뒤쪽에 나타날 때 종종 잘못된 추측을 하곤 했습니다. 한편, 가장 최신의 가장 강력한 언어 모델들은 방대한 양의 인간 지식을 이해할 수 있었지만, 그것들은 텍스트를 작성하기 위해 만들어졌을 뿐 라벨을 붙이기 위해 만들어진 것이 아니었습니다. 그들 역시 오직 뒤를 돌아볼 수밖에 없었기에, 텍스트 블록 내의 특정 단어를 식별하라는 요청을 받으면 느려지고 오류가 발생하기 쉬웠습니다.

WitnessAI의 연구진은 기존의 설계를 변경하지 않고도 이러한 강력한 모델들에게 전체 그림을 볼 수 있는 능력을 부여하는 방법을 찾아냈습니다. 그들은 이 방법을 "저스트 패스 트와이스(Just Pass Twice, 두 번 통과하기)"라고 부릅니다. 해결책은 매우 단순합니다. 컴퓨터 모델에 문장을 단 한 번만 입력하는 대신, 문장을 연속해서 두 번 입력하는 것입니다. 첫 번째로 모델은 문장을 정상적으로 읽습니다. 두 번째로 모델은 정확히 같은 문장을 다시 읽습니다. 모델은 지금까지 본 모든 것을 기억하도록 설계되어 있기 때문에, 두 번째 읽기 과정에서 모든 단어는 첫 번째 읽기의 전체 내용을 "뒤돌아볼" 수 있게 됩니다. 즉, 모델이 두 번째 통과 중에 "파리(Paris)"라는 단어를 분석할 때, 이미 첫 번째 통과에서 뒤에 등장했던 "새 앨범"이라는 단어를 볼 수 있게 되는 것입니다. 이 기법은 모델이 문장 전체를 한 번에 보는 효과를 주어, 모델이 각 단어의 의미를 정밀하게 결정할 수 있게 하며, 이 모든 과정은 이전의 최고 방법들보다 20배 이상 빠른 속도로 실행됩니다.

연구진은 이 접근 방식을 음악, 정치, 과학 등 다양한 분야에서 사람, 조직, 위치와 같은 특정 유형의 정보를 식별해야 하는 광범위한 작업에 테스트했습니다. 그들은 이 "두 번 읽기" 기법을 각 엔티티(entity) 유형에 대한 명확한 서술형 정의와 결래하여 사용함으로써 모델이 놀라운 정확도를 갖게 된다는 것을 발견했습니다. 테스트 결과, 이 모델은 기존의 가장 뛰어난 방법들을 상당한 차이로 앞질렀으며, 평균적으로 정확도를 거의 8포인트 향상시켰습니다. 이는 수십 년 동안 연구되어 온 작업에서 상당한 성능의 도약입니다. 모델은 단순히 추측을 더 잘한 것이 아니라, 맥락을 더 깊이 이해했습니다. 예를 들어, 모델은 단순히 이름 목록을 암기하는 것이 아니라 제공된 특정 정의에 의존함으로써 "사람"과 "정치인" 또는 "국가"와 "조직"을 구별할 수 있었습니다.

이 발견이 특히 놀라운 점은 인공지능의 일반적인 트레이드오프(trade-off, 상충 관계)를 우회한다는 것입니다. 일반적으로 모델을 더 정확하게 만들기 위해서는 더 느리거나 더 복잡하게 만들어야 합니다. 텍xt를 단어 단위로 생성하는 생성 모델은 각 단어를 쓴 후에 다음 단어로 넘어가야 하므로 느립니다. 단순히 단어에 라벨을 붙이는 판별 모델은 빠르지만, 최신 대규모 모델들이 가진 깊은 이해력은 부족한 경우가 많습니다. "저스트 패스 트와이스" 방식은 이 간극을 메웁니다. 이는 거대하고 지식이 풍부한 모델이 텍스트에 라벨을 붙이는 빠르고 정밀한 작업을 수행할 수 있게 해줍니다. 연구진은 모델의 구조를 변경하거나 처음부터 다시 학습시킬 필요 없이 이 일을 해냈습니다. 그들은 단지 입력을 변경하여, 모델이 느린 순차적 계산이 아닌 단일한 병렬적 계산 폭발 속에서 처리할 수 있도록 텍스트를 복제했을 뿐입니다.

이 연구의 함의는 단순히 텍스트에서 이름을 찾는 것을 넘어 확장됩니다. 이는 현대 언어 모델의 한계가 항상 지능의 부족 때문이 아니라, 때로는 모델이 작동하도록 요청받는 방식 때문임을 보여줍니다. 연구진은 모델이 문장의 전체 맥락을 볼 수 있는 방법을 찾아냄으로써, 이 모델들의 새로운 수준의 효율성과 정확도를 끌어냈습니다. 그들의 방법은 마법 같은 기술이나 복잡한 알고리즘의 개편이 아니라, 모델의 기존 역량을 새로운 방식으로 활용하는 단순하고 우아한 조정입니다. 그 결과, 이 시스템은 더 빠르고 똑똑하며, 이전에는 이 부류의 도구들이 도달할 수 없었던 수준의 정밀도로 인간 언어의 뉘앙스를 다룰 수 있게 되었습니다. 이 접근 방식은 인공지능의 앞날이 반드시 더 크고 복잡한 기계를 만드는 것이 아니라, 우리가 이미 가지고 있는 것들을 사용하는 더 단순하고 우아한 방법을 찾는 데 있을 수 있음을 시사합니다.

기술 요약: Just Pass Twice (JPT)

문제 정의

개체명 인식(NER)은 정보 추출을 위한 기초적인 작업으로, 일반적으로 토큰 수준의 시퀀스 레이블링(sequence labeling) 문제로 다루어집니다. 양방향 인코더(예: BERT, DeBERT)를 기반으로 하는 판별 모델(discriminative models)은 전체 문맥을 활용함으로써 이 작업에서 탁월한 성능을 보이지만, 파라미터 크기와 세계 지식(world knowledge)의 한계로 인해 새로운 도메인이나 개체 유형에 대한 제로샷 일반화(zero-shot generalization)가 어렵습니다. 반면, 대규모 언어 모델(LLM)은 방대한 세계 지식과 추론 능력을 갖추고 있지만, **인과적(단방향) 어텐션(causal attention)**을 사용합니다. 이러한 구조적 제약은 토큰이 미래의 문맥을 참조하는 것을 방지하며, 이는 개체 유형을 구별하는 데 필수적인 요소입니다(예: "Paris"가 사람인지 도시인지 구분하기 위해서는 문장 뒤에 나오는 "album"을 확인해야 함).

기존의 LLM 기반 NER 방식은 이를 우회하기 위해 생성적 정식화(generative formulations)(모델에게 개체 목록을 나열하도록 프롬프트 작성)를 사용합니다. 그러나 이러한 방법은 세 가지 결정적인 단점을 가집니다:

속도: 자기회귀적 디코딩(autoregressive decoding)은 단일 패스 분류에 비해 본질적으로 순차적이며 느립니다.
비용: 상용 API에서 입력 토큰을 처리하는 것보다 출력 토큰을 생성하는 것이 훨씬 더 비쌉니다.
신뢰성: 생성 모델은 입력에 존재하지 않는 개체를 환각(hallucination)하거나 포맷 오류를 발생시킬 가능성이 높습니다.

방법론

저자들은 **Just Pass Twice (JPT)**를 제안합니다. 이 방법은 기본 아키텍처를 수정하지 않고도 인과적 LLM이 완전한 양방향 문맥을 가진 판별적 토큰 분류를 수행할 수 있도록 합니다.

1. 입력 복제를 통한 양방향 문맥 확보

JPT의 핵심 통찰은 입력 시퀀스를 복제함으로써 두 번째 패스의 토큰이 전체 문장을 참조할 수 있게 한다는 것입니다.

메커니즘: 입력 시퀀스 $x$ 를 자기 자신과 결합합니다: $x' = (x, [SEP], x)$ .
어텐션 흐름: 인과적 LLM이 두 번째 패스를 처리할 때, 위치 $k$ 의 토큰은 두 번째 패스의 이전 토큰들(표준 과거 문맥)뿐만 아니라, 결정적으로 첫 번째 패스의 모든 토큰(원래 문장 기준의 미래 문맥)을 참조할 수 있습니다.
효율성: 이 작업은 완전히 프리필(prefill) 단계에서 수행되며, 이는 병렬적이고 연산 집약적(compute-bound)입니다. 토큰별로 순차적으로 진행되는 메모리 집약적(memory-bound)인 자기회귀적 디코딩과 달리, JPT는 중복된 입력을 단일 순방향 패스로 처리하여 생성 시 발생하는 지연 시간을 피합니다.

2. 정의 기반 개체 유형 지정 (Definition-Guided Entity Typing)

유연한 제로샷 일반화를 달성하기 위해, JPT는 단순한 레이블 이름(예: "PERSON")을 넘어 자연어 정의를 활용합니다.

이중 채널 주입: 개체 정의는 두 가지 채널을 통해 주입됩니다:
1. 임베딩: 정의는 텍스트 인코더에 의해 인코딩되고 공유 공간으로 투영되어 개체 임베딩 역할을 합니다.
2. 프롬프트: 정의는 어텐션을 통해 토큰 인코딩을 가이드하기 위해 LLM의 입력 프롬프트에 직접 포함됩니다.
제어: 이를 통해 사용자는 경계 사례나 모호성 해소 규칙(예: "nearby"가 위치로 간주될지 여부)을 자연어로 지정할 수 있으며, 모델을 고정된 어휘 집합으로부터 분리할 수 있습니다.

3. 아키텍처 및 학습

백본(Backbone): JPT는 동결된 디코더 전용 LLM(Qwen3-4B 및 Qwen3-8B)을 사용합니다.
어댑터(Adapters): 경량 구성 요소만 학습됩니다: 어텐션 프로젝션에 대한 LoRA 어댑터, 토큰/개체 투영 MLP, 그리고 쌍선형 분류기(bilinear classifier). 이는 백본 파라미터의 2% 미만을 업데이트합니다.
분류: 쌍선형 분류기는 투영된 토큰 표현(두 번째 패스에서 추출)과 개체 임베딩 사이의 매칭 점수를 계산합니다. 명시적인 "O"(외부) 클래스가 포함됩니다.
데이터: JMT는 평가 벤치마크와 겹치지 않는 독자적인 위키피디아 유래 데이터셋으로 학습되어 진정한 제로샷 평가를 보장합니다.

주요 기여

아키텍처 혁신: 단순한 입력 변환(복제)을 통해, 아키텍처 변경이나 특수 사전 학습 없이도 인과적 LLM에서 양방향 토큰 분류를 가능하게 합니다.
정의 기반 유형 지정: 임베딩과 프롬프트 모두에 주입되는 자연어 정의를 사용하여 유연한 제로샷 일반화를 제공하며, 개체 경계에 대한 미세한 제어를 지원합니다.
성능 및 효율성: JPT는 기존 방식보다 훨씬 빠른 속도로 최첨단(SOTA) 결과를 달성합니다.

실험 결과

저자들은 CrossNER(5개의 특화 도메인)와 MIT(영화/레스토랑) 벤치마크, 그리고 확장된 20개의 다양한 데이터셋 세트로 JPT를 평가했습니다.

정확도: JPT-8B는 CrossNER와 MIT 전체에서 평균적으로 이전 최고 방법(SaM)보다 +7.9 F1 높은 최첨단 F1 점수를 달able 달성했습니다. 또한 UniNER-7B보다 +12.3 F1 높습니다.
일반화: JPT-4B는 20개 중 19개의 확장 벤치마크에서 GLiNER-L과 UniNER-7B를 모두 능가하며, 생물 의학, 소셜 미디어 및 다국어 도메인에 걸친 강력한 일반화 능력을 입증했습니다.
효율성: JPT는 유사한 생성적 방법보다 20배 이상 빠릅니다. 예를 들어, JPT-4B는 UniNER-7B보다 약 22배 빠릅니다. 이는 생성 모델의 순차적 디코딩과 대비되는 JPT의 병렬적 프리필 특성 덕분입니다.
절제 연구(Ablation Studies):
- 입력 복제를 제거하면(단일 패스) 성능이 -15.2 F1 하락하여, 양방향 문맥의 필요성을 확인했습니다.
- 정의를 한 가지 채널(프롬프트 또는 임베딩)에서만 사용할 경우 이득이 제한적이었습니다. 이중 채널 방식이 가장 높은 성능(+정의 미사용 대비 +12.6 F1)을 제공했습니다.

의의 및 주장

본 논문은 JPT가 인과적 어텐션 제약이 토큰 수준의 작업을 위해 반드시 생성적 접근 방식을 필요로 하는 것은 아님을 보여준다고 주장합니다. JPT는 디코더 전용 LLM의 거대한 파라미터 공간과 세계 지식을 활용하면서도 자기회귀적 생성을 우회함으로써, 매우 정확하고 계산 효율적인 솔루션을 제공합니다.

저자들은 다음과 같은 점을 강조합니다:

생성적 NER의 고유한 지연 시간 및 환각 문제를 제거합니다.
순차적 디코딩의 비용 없이 대규모 모델의 추론 능력을 활용합니다.
고정된 레이블이 아닌 자연어 명세에 의해 개체 경계가 정의되는 제어 가능한 정보 추출 프레임워크를 제공합니다.

이 연구는 단순한 입력 변환이 아키텍처적 병목 현상을 극복할 수 있음을 시사하며, 이는 NER을 넘어 다른 토큰 수준의 작업으로도 확장될 수 있습니다. 저자들은 시퀀스 길이와 관련된 제한 사항(입력 복제로 인한 $O(N^2)$ 복잡도 증가)과 현재 평면(flat) NER만 지원한다는 점(중첩된 개체는 사후 병합 필요)을 언급하면서도, JPT의 효율성과 정확성이 실제 배포에 강력한 후보임을 확언합니다.