💬 NLP

Assessment of Generative Named Entity Recognition in the Era of Large Language Models

이 논문은 생성적 개체명 인식(generative named entity recognition)을 위한 오픈 소스 거대 언어 모델들을 체계적으로 평가하며, 매개변수 효율적 미세 조정(parameter-efficient fine-tuning)과 구조화된 출력 형식을 통해 이들이 암기가 아닌 지시 이행 능력에 의존하면서도 일반적인 모델 능력을 저해하지 않고 전통적인 모델들과 경쟁 가능한 성능을 달성함을 입증한다.

원저자: Qi Zhan, Yile Wang, Hui Huang

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qi Zhan, Yile Wang, Hui Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 세상의 거의 모든 책을 읽은 거대하고 똑똑한 사서(거대 언어 모델, 즉 LLM)가 있다고 상상해 보세요. 수년 동안, 만약 당신이 텍스트에서 특정 이름(예: 사람, 장소, 조직 등)을 찾고 싶었다면, 오직 그 한 가지 일만을 위해 훈련된 특화되고 경직된 로봇(전통적인 NER 모델)을 고용해야만 했습니다.

이 논문은 큰 질문을 던집니다: 우리가 그냥 이 거대한 사서에게 그 이름들을 찾아달라고 부탁하면 어떻게 될까요? 그리고 그들이 특화된 로봇보다 더 잘 해낼까요?

다음은 쉬운 비유를 사용한 연구 결과의 요약입니다:

1. 새로운 작업 방식: "다시 쓰기" vs "형광펜 칠하기"

과거의 방식 (전통적 모델): 특정 단어에만 색을 칠할 줄 아는 형광펜을 상상해 보세요. 이 형광펜은 문장을 훑으며 "John"에는 "사람" 스티커를 붙이고, "New York"에는 "장소" 스티커를 붙입니다. 빠르고 정확하지만, 다소 기계적입니다.
새로운 방식 (생성형 NER): 사서에게 문장을 다시 써달라고 요청하는 것을 상상해 보세요. 당신은 이렇게 말합니다. "여기 문장이 있습니다. 이 문장을 다시 써주되, 이름들을 [John | Person]과 같이 대괄호 안에 넣어 주세요."
결과: 연구진은 명확한 지침과 특정 형식(대괄호나 XML 태그 사용 등)을 제공하면, 사서가 특화된 형광펜 로봇만큼이나 정확하게 문장을 다시 쓸 수 있다는 것을 발견했습니다. 실제로, 이들은 사서의 이전 버전(학습 없이 단순히 질문만 하는 '제로샷' 방식)보다 더 뛰어난 성능을 보였으며, 최고의 특화된 로봇들과도 대등한 수준을 보여주었습니다.

2. 답변의 형태가 중요하다

논문은 사서에게 답변 형식을 요청하는 다섯 가지 방법을 테스트했습니다.

승자: 자연스러운 문장 안에 태그가 삽입된 형태(예: [이름 | 유형] 또는 <이름>유형</이름>)가 가장 효과적이었습니다. 이는 마치 사서에게 이름이 자연스럽게 강조된 이야기를 써달라고 요청하는 것과 같습니다.
패자: 사서에게 복잡한 수학적 계산을 요구하는 형식, 예를 들어 단어가 시작되는 정확한 글자 번호를 세는 방식(예: "45번째 글자에서 시작하여 50번째 글자에서 끝남")은 처참한 결과를 낳았습니다. 사서는 이 경직된 수학적 규칙 때문에 혼란을 겪었고 많은 실수를 저질렀습니다.
교훈: AI가 잘 작동하게 하려면, 스프레드시트 형식이 아니라 자연스럽고 구조적인 방식으로 글을 쓰도록 요청하십시오.

3. 사서가 부정행위를 하고 있는 걸까? (암기 vs 학습)

사서는 너무나 많은 것을 읽었기에, 혹시 훈련 데이터에서 정답을 그냥 외워서 내놓는 것 아닐까요?

테스트: 연구진은 사서를 속이려고 시도했습니다. 표준적인 이름(예: "Person" 또는 "Location")을 무작위 기호(예: "A" 또는 "B")로 바꾸고 새로운 지침을 주었습니다.
결가: 사서는 무너지지 않았습니다. 사서는 여전히 과제를 수행해 냈습니다. 이는 사서가 단순히 "John = Person"이라는 암기된 목록을 읊고 있는 것이 아님을 증명합니다. 사서는 실제로 이름이라는 개념이 무엇인지 학습하고 있으며, 이를 새로운 상황에 적용하고 있습니다. 이는 마치 인간이 하는 방식과 같습니다.

4. 훈련의 "부작용"

보통 특화된 로봇을 한 가지 일을 하도록 훈련시키면, 그 로봇은 다른 모든 일을 하는 법을 잊어버립니다. 만약 당신이 계산기에게 수학을 가르친다면, 계산기는 농담하는 법을 잊어버릴 수도 있습니다.

놀라운 점: 연구진이 이 거대한 사서에게 이름을 찾는 법을 가르쳤을 때, 사서는 다른 일을 하는 법을 잊어버리지 않았습니다. 오히려 독해력 테스트(텍-트 내에서 답을 찾는 시험)에서 사서의 실력은 더 좋아졌습니다.
이유는? 이름을 찾는 것은 이야기의 맥수를 이해하는 데 매우 중요한 부분이기 때문입니다. 이름을 찾는 연습을 함으로써, 사서는 전체 텍스트를 이해하는 능력이 더 날카로워졌습니다.

5. 사서가 여전히 어려워하는 부분

사서는 일반적인 주제(뉴스나 역사 등)에는 뛰어나지만, 생물학이나 의학 같은 매우 전문적인 분야에서는 약간 휘청거립니다.

격차: (의학 용어에 특화되어 훈련된) 특화된 로봇은 여전히 사서보다 뛰어난 성과를 보였습니다. 사서는 일반적인 지식은 풍부하지만, 특화된 로봇이 가진 깊고 구체적인 "의과대학 수준"의 훈련은 부족합니다.

결론

이 논문은 우리가 더 이상 모든 개별적인 작업을 위해 새로운 특화된 로봇을 만들 필요가 없다는 것을 보여줍니다. 강력하고 범용적인 AI를 가져와서, 명확한 지침과 좋은 형식을 제공하기만 하면, 우리는 기존의 방식만큼이나 잘 이름을 찾아내는 업무를 수행할 수 있습니다. 게다가 이 AI는 다른 똑똑한 작업들을 수행하는 능력도 유지하므로, 모두에게 매우 친숙하고 유연한 도구가 됩니다.

기술 요약: 대규모 언어 모델 시대의 생성적 개체명 인식(Generative NER) 평가

문제 정의

개체명 인식(NER)은 전통적으로 토큰에 태그를 할당하는 오토인코딩 사전 학습 모델(예: BERT)을 통해 주로 해결되는 시퀀스 레이블링 작업으로 프레임화되어 왔습니다. 대규모 언어 모델(LLM)의 등장과 함께, NER은 모델이 원래의 문장과 식별된 개체를 모두 포함하는 텍고를 순차적으로 생성하는 생성적 패러다임으로 변화하고 있습니다. 예비 연구들이 폐쇄형 모델(예: ChatGPT)을 사용한 제로샷 또는 퓨샷 NER을 탐구해 왔으나, 다음과 같은 사항에 대한 체계적인 조사는 부족한 실정입니다:

플랫(flat) 및 중첩(nested) 작업 모두에서 미세 조정된 오픈 소스 LLM과 전통적인 최첨단(SOTA) NER 모델 간의 성능 격차.
다양한 출력 형식이 생성적 NER 성능에 미치는 영향.
LLM이 진정한 개체 학습을 통해 NER을 해결하는지, 아니면 단순히 훈련 데이터로부터 개체-레이블 상관관계를 암기하는 것인지 여부.
NER을 위한 인스트럭션 튜닝(instruction tuning)이 LLM의 일반적인 능력을 저하시키는지 여부.

방법론

저자들은 파라미터 규모가 3B에서 9B에 이르는 8개의 오픈 소스 LLM(패밀리: LLaMA, Qwen, Granite, Gemma)을 대상으로 체계적인 평가를 수행했습니다. 실험에는 네 가지 표준 데이터셋이 활용되었습니다:

Flat NER: CoNLL2003 및 OntosNotes5.0.
Nested NER: ACE2005 및 GENIA (생물 의학 도메인).

실험 설계:

미세 조정 전략: 모든 모델은 랭크(rank)가 256인 LoRA(Low-Rank Adaptation)를 사용하여 미세 조정되었으며, 이를 전체 미세 조정(full fine-tuning) 및 전통적인 베이스라인(예: BERT-Tagger, W2NER, BERT-MRC)과 비교했습니다.
출력 형식: 성능에 미치는 영향을 결정하기 위해 다섯 가지의 뚜も 다른 형식을 평가했습니다:
1. 인라인 브래킷(Inline Bracketed): [Entity | Label]
2. 인라인 XML(Inline XML): <Label>Entity</Label>
3. 카테고리 그룹화 JSON(Category-grouped JSON): 레이블 키별로 그룹화.
4. 발생 기반 JSON(Occurrence-based JSON): 발생 인덱스 포함.
5. 오프셋 기반 JSON(Offset-based JSON): 정밀한 문자 시작/종료 위치 필요.
암기 분석: 학습과 암기를 구분하기 위해, 저자들은 CoNLL2003 데이터셋에서 표준 텍스트 레이블(예: "PER", "LOC")을 임의의 기호(예: "A", "B")로 교체했습니다. 그들은 두 가지 조건 하에 모델을 테스트했습니다: 기호에 대한 설명이 있는 경우(CoNLL2003-SE)와 설명이 없는 경우(CoNLL2003-SO).
능력 보존: NER 인스트럭션 튜닝이 LLM의 일반적인 능력을 저하시키는지 평가하기 위해, 튜닝 전후의 일반 벤치마크(HellaSwag, DROP, GSM8K, MMLU, TruthfulQA)를 평가했습니다.

주요 결과

1. 성능 및 출력 형식

형식 민감도: 출력 형식은 결정적인 영향을 미칩니다. 인라인 브래킷 및 인라인 XML 형식이 가장 우수한 성능을 보였습니다 (플랫 NER에서 각각 평균 F1 91.91 및 91.71). 문장 구조 내에 개체를 직접 삽입하는 이러한 형식은 LLM의 생성적 특성과 잘 부합합니다.
JSON의 한계: 특히 정밀한 문자 오프셋을 요구하는 JSON 기반 형식은 상당한 성능 저하를 초래했습니다 (예: 오프셋 기반 JSON은 플랫 NER에서 평균 53.91 F1 기록). 이는 LLM이 생성 과정에서 미세한 위치 정렬을 수행하는 데 어려움을 겪음을 나타냅니다.
베이스라인과의 비교: 파라미터 효율적 미세 조정과 최적의 형식(인라인 브래킷/XML)을 사용할 때, 오픈 소스 LLM(예: LLaMA3.1-8B, Gemma2-9B)은 플랫 NER 작업에서 전통적인 인코더 기반 모델(예: BERT-MRC, GNN-SL)과 대등하거나 더 우수한 성능을 달성했습니다. 또한 인컨텍스트 러닝을 사용하는 폐쇄형 GPT-3 모델을 능가했습니다.
도메인 격차: LLM은 일반적인 도메인에서는 잘 작동하지만, 생물 의학(GENIA)과 같은 저자원 도메인에서는 전문화된 전통적 모델에 비해 뒤처졌습니다 (최고의 LLM 결과가 최고의 전문 모델보다 4.02 F1 포인트 낮음).

2. 암기 vs. 학습

Few-shot vs. Fine-tuning: 미세 조정 없이 5-shot 프롬프팅을 수행했을 때, 미세 조정된 모델보다 현저히 낮은 중간 수준의 F1 점수를 기록했습니다. 이는 사전 학습된 노출만으로는 높은 성능의 NER을 달성하기에 불충분함을 시사합니다.
기호 교체: 텍스트 레이블을 임의의 기호로 교체했을 때 F1 변화는 미미했습니다 (설명이 있는 경우 평균 $\Delta$ F1 -0.18, 설명이 없는 경우 +0.01). 이는 LLM이 특정 개체-레이블 쌍을 암기하는 것에 의존하는 것이 아니라, 인스트럭션 튜닝을 통해 텍스트 구간을 추상적인 레이블 개념에 매핑하는 근본적인 작업을 학습한다는 것을 나타냅니다.

3. 오류 분석

전통적 모델: 주로 누락된 언급(Omitted Mentions) (45.5%) 문제를 겪으며, 이는 보수적인 예측 전략을 반영합니다.
생성적 LLM: 누락률은 낮지만, 잘못된 유형(Wrong Types) (38.2%) 및 완전한 O(Completely-O) 오류(텍스트에 없는 개체를 환각하는 현상) 비율이 더 높습니다. 이는 LLM이 추출에는 더 공격적이지만, 광범위한 사전 학습 지식과 특정 데이터셋 주석 가이드라인(예: "Permian"을 위치 대신 기타(miscellaneous)로 오분류) 사이의 충돌로 인해 유형 분류를 실수하기 쉽다는 것을 시사합니다.

4. 일반적 능력의 보존

NER을 위한 인스트럭션 튜닝은 일반적인 능력에 부정적인 영향을 거의 미치지 않았습니다. 추론 및 지식 벤치마크에 대한 성능은 안정적이거나 약간의 변동만을 보였습니다.
주목할 점은, 문단에 대한 이산적 추론을 요구하는 독해 벤치마크인 DROP에서의 성능이 25.50에서 45.32 F1 포인트만큼 크게 향상되었다는 것입니다. 저자들은 이를 개체 구간을 탐지하고 추출하는 모델의 능력이 향상되었기 때문이라고 설명하며, 이는 DROP의 정답이 종종 개체 구간인 것과 관련이 있습니다.

의의 및 주장

본 논문은 오픈 소스 LLM을 이용한 생성적 NER이 전통적인 시퀀스 레이블링 방식에 대한 유망하고 사용자 친화적인 대안이라고 주장합니다. 핵심 기여는 다음과 같습니다:

실행 가능성: 오픈 소스 LLM은 파라미터 효율적 방법과 구조화된 출력 형식을 사용하여 미세 조정될 때, 일반 도메인에서 전통적인 SOTA 모델과 대등하거나 이를 능가할 수 있습니다.
메커니즘: 생성적 NER의 성공은 데이터 암기가 아닌 모델의 인스트럭션 준수 및 생성 능력에서 비롯됩니다.
안전성: NER을 위한 미세 조정은 일반 지능을 저하시지 않으며, 경우에 따라(DROP와 같이) 개체 이해도를 높임으로써 성능을 향상시킵니다.
실용성: 생성적 NER의 자연어 인터페이스는 비전문가의 진입 장벽을 낮추며, 이는 NER 시스템이 배포되고 상호작용하는 방식의 잠재적 변화를 시사합니다.

저자들은 저자원 및 중첩 도메인에서 과제가 남아있지만, 생성적 패러다임이 NER 기술의 강력한 진화를 나타낸다고 결론짓습니다.