1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 을 활용한 Named Entity Recognition(NER) 연구가 활발히 진행되고 있으나, 기존 텍스트 기반 프롬프팅 (Text-based Prompting) 방식에는 다음과 같은 근본적인 한계가 존재합니다.

• 입출력 스키마의 불일치: LLM 은 일반적으로 "텍스트 입력 $\rightarrow$ 텍스트 출력" 방식을 따르지만, NER 과 같은 시퀀스 레이블링 작업은 "텍스트 입력 $\rightarrow$ 토큰 단위 스펜 (Span) 출력"이 필요합니다. 특히 BIO(Begin, Inside, Outside) 태그와 같은 시퀀스 레이블링 스키마를 텍스트로만 설명할 경우, LLM 이 토큰 간의 경계 (Boundary) 를 정확하게 파악하기 어렵습니다.
• 시퀀스 처리의 부재: 기존 텍스트 프롬프팅은 입력 문맥 정보에만 의존할 뿐, 각 토큰을 순차적으로 처리하여 레이블을 할당해야 하는 NER 의 본질적인 요구사항을 명시적으로 지시하지 못합니다. 이로 인해 엔티티 경계 오류, 중복 레이블링, 반복되는 단어 처리 실패 등의 문제가 발생합니다.
• Zero-shot/Few-shot 환경의 한계: 직접적인 토큰 - 레이블 매핑 (Supervision) 이 없는 Zero-shot 환경에서 LLM 이 BIO 스키마의 순차적 구조를 이해하는 데 어려움을 겪습니다.

2. 제안 방법: CodeNER (Methodology)

저자들은 이러한 문제를 해결하기 위해 코드 기반 프롬프팅 (Code-based Prompting) 기법인 CodeNER를 제안했습니다. 이 방법은 자연어 지시 대신 프로그래밍 언어 (Python, C++ 등) 구조를 프롬프트에 내장하여 LLM 의 코딩 능력을 활용합니다.

• 구조화된 코드 프롬프트:
  • 입력 문장을 리스트로 정의하고, NER 레이블을 딕셔너리로 매핑합니다.
  • for 루프를 사용하여 문장의 각 토큰을 순차적으로 처리하도록 LLM 을 유도합니다.
  • BIO 스키마 (B-, I-, O-) 를 코드 주석 (Comments) 및 변수 구조를 통해 명시적으로 정의합니다.
  • 예시: find_ner_tags 함수 내에서 루프를 돌며 각 토큰에 대해 레이블을 결정하고 리스트에 추가하는 로직을 포함합니다.
• 핵심 메커니즘:
  • 시퀀스 처리 유도: 프로그래밍 언어의 for 루프 구조를 통해 LLM 이 토큰 단위로 순차적으로 문장을 처리하도록 강제합니다. 이는 텍스트 프롬프팅이 놓치기 쉬운 토큰 경계 (Entity Boundaries) 를 정확히 파악하게 합니다.
  • 명시적 지시: 코드 주석을 통해 각 레이블의 의미와 BIO 태그의 역할을 상세히 설명하여, LLM 이 긴 범위의 문맥 (Long-range scopes) 을 이해하고 적용하도록 돕습니다.
  • 동적 정의: 사전 정의되지 않은 ner_word_dictionary 등을 포함하여 모델이 동적으로 레이블을 정의하고 적용하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프롬프팅 패러다임: NER 작업에 텍스트 대신 프로그래밍 언어 구조를 활용하여, LLM 의 시퀀스 처리 능력을 극대화하는 새로운 접근법을 제시했습니다.
2. BIO 스키마와 문맥의 통합: 코드 구조를 통해 입력 문맥 정보와 BIO 출력 스키마를 통합적으로 표현함으로써, 텍스트 기반 프롬프팅의 간극을 해소했습니다.
3. Chain-of-Thought (CoT) 와의 결합: CodeNER 에 "Let's think step by step"과 같은 CoT 지시를 추가하여 성능을 더욱 향상시킬 수 있음을 입증했습니다.
4. 다국어 및 다양한 모델에서의 검증: 영어, 아랍어, 핀란드어, 덴마크어, 독일어 등 5 개 언어의 10 개 벤치마크 데이터셋과 GPT-4, Llama-3, Phi-3 등 다양한 폐쇄형 및 오픈형 LLM 에서 광범위한 실험을 수행했습니다.

4. 실험 결과 (Results)

• 성능 향상:
  • GPT-4/GPT-4 Turbo: 10 개 데이터셋에서 평균 F1 점수가 텍스트 기반 프롬프팅 (Vanilla) 대비 2.41~3.07 포인트 향상되었습니다. 특히 FIN 데이터셋에서는 18.3 포인트, MIT Restaurant 에서 9.48 포인트의 큰 향상을 보였습니다.
  • 오픈 모델 (Llama-3, Phi-3): GoLLIE 및 GNER 와 같은 기존 코드/텍스트 기반 프롬프팅 모델 대비 CodeNER 가 일관되게 높은 성능을 기록했습니다. Phi-3 모델에서 평균 F1 점수가 19.54 포인트, Llama-3 에서 5.81 포인트 향상되었습니다.
• 세부 분석:
  • 엔티티 경계 정확도: 긴 URL 이나 특수 문자가 포함된 경우, CodeNER 는 이를 단일 토큰으로 정확히 인식하는 반면, Vanilla 는 분할하거나 오류를 범했습니다.
  • 중복 및 반복 처리: 동일한 단어가 여러 번 등장할 때, Vanilla 는 레이블을 누락하거나 중복하는 경향이 있었으나, CodeNER 는 루프 구조 덕분에 각 토큰을 정확히 레이블링했습니다.
  • BIO 태그 효과: 'B'와 'O' 태그만 평가한 실험에서도 CodeNER 가 텍스트 기반 방법보다 우월한 경계 인식 능력을 보여주었습니다.
• 언어 및 모델별 차이:
  • Python 과 C++ 프롬프트 간 성능 차이는 크지 않았으나, Java 는 LLM 의 사전 학습 부족으로 인해 성능이 저하되었습니다.
  • 일부 데이터셋 (MIT-Movie 등) 에서 긴 문장이나 기능어 (Function words) 가 포함된 경우 Vanilla 가 더 나은 결과를 보인 사례도 발견되었습니다 (제한 사항).

5. 의의 및 결론 (Significance)

• NER 과 LLM 의 간극 해소: 텍스트 기반 LLM 이 시퀀스 레이블링 작업인 NER 을 수행할 때 발생하는 구조적 불일치를 프로그래밍 언어의 논리적 구조를 통해 성공적으로 해결했습니다.
• Zero-shot 학습의 효율성: 추가적인 파인튜닝 없이도, 구조화된 코드 프롬프트를 통해 LLM 의 추론 능력을 극대화하여 Zero-shot NER 성능을 크게 개선할 수 있음을 입증했습니다.
• 향후 연구 방향: 기능어 (Function words) 처리나 긴 문장 구조에 대한 한계를 극복하기 위해 관련 보조 작업을 포함한 사전 학습 (Pre-training) 이 필요함을 제안하며, 코드 프롬프팅이 정보 추출 (Information Extraction) 분야 전반에 적용 가능한 강력한 패러다임임을 시사합니다.

요약하자면, CodeNER는 LLM 이 코드를 이해하고 실행하는 능력을 활용하여 NER 작업의 핵심인 '순차적 토큰 레이블링'을 정확하게 수행하도록 유도함으로써, 기존 텍스트 프롬프팅의 한계를 극복하고 성능을 획기적으로 개선한 혁신적인 방법론입니다.