💬 NLP

Scaling Performance and Low-Resource Annotation with Many-Shot In-Context Learning for Named Entity Recognition

이 논문은 인컨텍스트 학습(in-context learning)을 수백 개의 예시로 확장하는 것이 거대 언어 모델이 개체명 인식(NER)에서 완전 지도 학습 기반의 BERT 성능에 필적하거나 이를 능가할 수 있게 함을 입증하며, 동시에 저자원 NER 모델을 크게 개선하는 효과적인 데이터 주석 프레임워크로서 기능함을 보여준다.

원저자: Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qi Zhang, Fangping Lan, Cornelia Caragea, Longin Jan Latecki, Eduard Dragut

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 예시를 보여줌으로써 로봇에게 읽는 법을 가르치기

매우 똑똑한 로봇(거대 언어 모델, 즉 LLM)이 있다고 상상해 보세요. 이 로봇은 글을 읽을 줄은 알지만, 문장에서 사람, 장소, 또는 조직의 이름을 찾아내는 법은 구체적으로 배운 적이 없습니다. 보통 로봇에게 이 기술을 가르치려면, 수천 개의 예시를 작성하고 완벽하게 라벨을 붙이는 인간 교사 팀을 고용해야 하며, 그 예시들을 바탕으로 로봇을 "학습"시키는 데 몇 주를 보내야 합니다. 이는 비용이 많이 들고 느린 작업입니다.

이 논문은 다른 방법을 제안합니다: 말로만 설명하지 말고, 직접 보여주세요.

로봇의 뇌를 다시 훈련시키는 대신, 연구진은 새로운 문장을 읽기 직전에 로봇에게 수백 개의 예시를 보여줍니다. 이것을 **인컨텍스트 러닝(In-Context Learning, ICL)**이라고 부릅니다. 이 논문은 다음과 같은 질문을 던집니다. 만약 우리가 로봇에게 5개의 예시가 아니라 100개, 200개, 혹은 500개의 예시를 한꺼번에 보여준다면 어떤 일이 벌어질까요?

주요 발견: 예시가 많을수록 로봇은 더 똑똑해진다

연구진은 놀라운 경향을 발견했습니다: 로봇에게 보여주는 예시가 많아질수록, 로봇은 더 똑똑해졌습니다.

기존 방식 (Few-Shot): 로봇에게 5개의 예시를 보여주는 것은 학생에게 빠른 요약 노트를 주는 것과 같습니다. 도움이 되긴 하지만, 학생은 여전히 실수를 합니다.
새로운 방식 (Many-Shot): 로봇에게 100개 이상의 예시를 보여주는 것은 학생에게 시험 직전에 교과서 한 단원을 통째로 공부하게 하는 것과 같습니다. 로봇은 단순히 "추측"을 더 잘하게 된 것이 아니라, 패턴을 너무나 잘 학습하여 수천 개의 인간 라벨링 예시로 몇 주 동안 훈련받은 로봇만큼이나, 혹은 그보다 더 뛰어난 성능을 보였습니다.

비유: 로봇을 신입 사원이라고 생각해 보세요.

파인 튜닝 (기존 방식): 트레이너를 고용하여 한 달 동안 직원이 업무의 모든 규칙을 배우도록 가르칩니다.
Many-Shot ICL (새로운 방식): 직원 옆에 앉아 완성된 양식 100장이 담긴 뭉치를 건네며 이렇게 말합니다. "이것들이 어떻게 작성되었는지 보고, 그다음 이 새 양식을 채워보세요." 그러면 직원은 한 달간의 훈련 없이도 즉시 업무를 파악합니다.

문제점: 로봇이 느리고 사용 비용이 비싸다

"Many-Shot" 방식은 정답을 얻는 데는 매우 효과적이었지만, 한 가지 단점이 있었습니다. 로봇이 새로운 문장을 읽을 때마다 그 100개 이상의 예시를 매번 다시 입력해 주어야 한다는 점입니다.

비유: 사서에게 책을 찾아달라고 요청하는 것과 같습니다. 만약 책을 찾을 때마다 사서에게 100페이지짜리 역사책을 매번 건네줘야 한다면, 시간이 오래 걸리고 비용도 많이 들 것입니다. 수천 개의 문서를 처리하는 실시간 환경에서는 이런 방식을 사용할 수 없습니다.

해결책: "어노테이션 공장" (ICA)

이 속도와 비용 문제를 해결하기 위해, 연구진은 **인컨텍스트 어노테이션(In-Context Annotation, ICA)**이라는 프레임워크를 구축했습니다.

연구진은 로봇을 실시간으로 문서를 읽는 용도로 쓰는 대신, 오프라인 공장 노동자로 사용했습니다.

설정: 연구진은 약 100개의 인간 라벨링 예시(이 "시드"는 설계도와 같습니다)를 로봇에게 제공했습니다.
공장: 로봇은 이 100개의 시드를 사용하여 수천 개의 라벨이 없는 문서들을 읽고 스스로 라벨을 붙였습니다.
품질 관리: 때때로 로봇은 실수를 합니다. 연구진은 로봇이 자신의 작업을 검토하고, 오류를 수정하며, 최선의 답에 투표하는(마치 로봇 위원회가 서로의 결과물을 검토하는 것과 같은) "품질 관리" 단계를 추가했습니다.
결과: 이제 연구진은 고품질의 라벨링된 데이터를 대량으로 확보하게 되었습니다.
배포: 이 새로운 데이터를 사용하여 작고, 빠르고, 저렴한 로봇(예: BERT)을 훈련시킵니다.

비유:

1단계: 높은 급여를 받는 느린 전문가(큰 LLM)를 고용하여 2,000개의 문서를 라벨링하게 합니다. 시작할 때 몇 가지 예시를 줍니다.
2단계: 전문가는 작업을 수행하고, 자신의 실수를 재검토한 뒤, 완벽한 데이터셋을 건네줍니다.
3단계: 비싼 전문가를 해고합니다. 그 완벽한 데이터셋을 가지고 빠르고 저렴한 인턴(작은 BERT 모델)에게 업무를 가르칩니다.
4단계: 이제 새로운 문서를 읽어야 할 때, 빠르고 저렴한 인턴을 사용합니다. 작업은 즉각적이며 비용은 거의 들지 않습니다.

핵심 결과 (쉬운 설명)

확장성이 작동한다: 큰 로봇에게 더 많은 예시를 보여줄수록 로봇은 더 똑똑해집니다. 약 100개의 예시가 로봇이 믿을 수 없을 정도로 정확해지는 "스위트 스팟(최적의 지점)"입니다.
인간의 노력은 적다: 시스템 전체를 작동시키기 위해 약 100개의 인간 라벨링 예시만 있으면 됩니다. 이는 보통 요구되는 수천 개의 예시에 비하면 아주 적은 양의 작업입니다.
최고보다 낫다: "공장에서 만들어진" 데이터로 훈련된 작은 로봇은 저자원(low-resource) 작업에서 기존의 가장 뛰어난 방법들보다 약 10% 더 나은 성능을 보였습니다.
정교화가 중요하다: 로봇이 자신의 오류를 수정하는 "품질 관리" 단계가 결정적이었습니다. 특히, "누락된 이름"이나 "잘못된 이름"과 같은 특정 유형의 실수를 찾아내도록 로봇을 가르치는 "오류 인식 정교화(Error-Aware Refinement)" 방식이 가장 큰 차이를 만들었습니다.

요약

이 논문은 우리가 로봇을 거대한 데이터셋으로 훈련시키기 위해 몇 달을 보낼 필요가 없음을 보여줍니다. 대신, 크고 똑똑한 로봇을 임시 교사로 활용할 수 있습니다. 수백 개의 예시를 보여줌으로써, 이 로봇은 작고 빠른 로봇을 위한 고품질의 훈련 데이터를 생성할 수 있습니다. 이 작은 로봇은 실제로 우리가 현실 세계에서 사용하는 모델이 되며, 최소한의 인간 노력과 낮은 비용으로 매우 높은 성능을 제공합니다.

기술 요약: 명명된 개체 인식(NER)을 위한 Many-Shot 인컨텍스트 학습을 통한 성능 스케일링 및 저자원 어노테이션

문제 정의

명명된 개체 인식(NER)은 전통적으로 대량의 인간 레이블 데이터(예: 파인튜닝된 BERT)를 필요로 하는 완전 지도 학습 모델에 의존해 온 근본적인 정보 추출 작업이다. 거대 언어 모델(LLM)은 파라미터 업데이트 없이 인컨텍스트 학습(ICL)을 통해 유망한 대안을 제시하지만, 기존 연구에 따르면 표준 퓨샷(few-shot) 설정에서의 LLM은 지도 학습 베이스라인에 비해 성능이 떨어지는 경우가 많다. 또한, 기존의 ICL 연구는 주로 퓨샷 시나리오(통상 100개 미만의 예시)에 집중되어 왔으며, 수백 개의 데모리스트레이션으로 확장하는 "메니샷(many-shot) ICL"의 잠재력은 거의 탐구되지 않았다. 아울러, 실시간 추론을 위해 LLM을 사용하는 것은 계산 비용이 많이 들고 속도가 느려 자원이 제한된 환경에서의 실제 배포를 제한한다.

방법론

1. NER을 위한 Many-Shot 인컨텍스트 학습 (ICL)

저자들은 NER을 모델이 XML 스타일의 주석 출력(예: <entity type="Location">Canada</entity>)을 생성하는 조건부 생성 문제로 정식화한다. 이 형식은 개체의 경계와 유형을 명시적으로 표시하여 경계 민감도를 향상시킨다.

스케일링 실험: 본 연구는 4개 도메인(MIT-Restaurant, MIT-Movie, CoNLL2003, WNUT 2017)에 대해 7개의 LLM(Qwen-2.5, LLaMA-3.1, GPT-4o, DeepSeekV3 포함)을 평가한다.
데모리스트레이션 전략: 인컨텍스트 예시를 선택하기 위한 두 가지 전략을 비교한다:
- 랜덤 샘플링(Random Sampling): 고정된 $k$ 개의 예시를 모든 테스트 입력에 재사용한다.
- 검색 기반(Retrieval-Based): BM25를 사용하여 각 테스트 입력에 대해 상위 $k$ 개의 유사한 예시를 동적으로 검색한다.
관찰 결과: 데모리스트레이션의 수가 0에서 500으로 증가함에 따라 성능이 일관되게 향상된다. 검색 기반 방식은 약 100개의 예시에서 조기에 정체(plateau)되는 반면, 랜덤 샘플링은 500개까지 꾸준한 이득을 보인다.

2. 인컨텍스트 어노테이션 (ICA) 프레임워크

LLM의 추론 비용 문제를 해결하기 위해, 저자들은 메니샷 ICL을 직접적인 추론 엔진이 아니라 효율적인 소형 모델(예: BERT)을 훈련하기 위한 오프라인 데이터 어노테이션 도구로 사용할 것을 제안한다.

워크플로우:
1. 시드 데이터(Seed Data): 소량의 인간 레이블 예시(예: 100개)가 고정된 인컨텍스트 데모리스트레이션으로 사용된다.
2. 어노테이션(Annotation): LLM이 이러한 데모리스트레이션을 사용하여 대규모 미레이블 코퍼스(예: 2,000개 문장)를 어노테이션한다.
3. 정제(Refinement): 품질을 높이기 위해, 신뢰도가 낮은 샘플에 대해 세 가지 전략이 적용된다:
  - 자기 일관성(Self-Consistency): 다양한 데모리스트레이션 순서로 생성된 여러 예측을 다수결 투표를 통해 집계한다.
  - 자기 수정(Self-Correction): LLM이 자신의 출력을 검토하고 수정하도록 프롬프트를 구성한다.
  - 오류 인식 정제(Error-Aware Refinement, EAR): 세 가지 별도의 프롬프를 사용하여 특정 오류 유형(가짜 개체, 누락된 개체, 잘못된 개체 유형)을 순차적으로 수정하는 모듈형 접근 방식이다.
4. 다운스트림 훈련(Downstream Training): 정제된 고품질 레이블 데이터는 BERT 기반 NER 모델을 파인튜닝하는 데 사용된다.
실험 설정:
- 데이터셋: ICA 프레임워크는 저자원 설정(100~200개의 인간 레이블 시드) 하에서 CrossNER 벤치마크(AI, 문학, 음악, 정치, 과학)를 통해 평가된다.
- 베이스라인: 전통적인 데이터 증강(DAGA, NERDA), LLM 기반 증강(ProgGen), 그리고 최첨단 저자원/교차 도메인 NER 방법(예: DTrans-MPrompt, GLiNER)과 비교된다.

주요 결과

Many-Shot ICL 성능

스케일링 효과: 인컨텍스트 예시의 수를 늘리면 단조로운 성능 향상이 나타난다. 약 100~500개의 예시가 있으면, LLM은 수천 개의 예시로 훈련된 완전 지도 학습 BERT 모델과 대등하거나 이를 능가하는 성능을 달성한다.
효율성: 수백 개의 예시를 사용하는 랜덤 샘플링은 더 비싼 검색 기반 방식에 필적하는 결과를 내면서도 더 적은 어노테이션 노력을 요구한다.

ICA 프레임워크 성능

SOTA 대비 우월성: CrossNER 벤치마크에서 ICA 프레임워크(특히 EAR 적용 시)는 이전의 최첨단 저자원 접근 방식보다 평균적으로 약 10 포인트 높은 절대 F1 향상을 달성한다.
직접 ICL과의 비교: LLM 예측을 BERT를 위한 훈련 데이터로 변환하는 것이 직접적인 메니샷 ICL 추론(ICL-MS)보다 F1 점수에서 5점 이상 높게 나타나며, 이는 LLM의 지식을 효율적인 모델로 증류(distilling)하는 것의 가치를 입증한다.
정제의 영향: 오류 인식 정제(EAR) 전략은 일반적인 ICA보다 평균 1.79 F1 포인트를 더 높게 기록하며, 공통적인 어노테이션 오류를 명시적으로 해결함으로써 일관되게 우수한 성능을 보인다.
데이터 효율성: 이 방법은 약 100개의 인간 레이블 시드 예시만을 사용하여 약 2,000개의 샘플을 생성함으로써 높은 성능을 달성하며, 이는 인간의 어노테이션 비용을 크게 줄여준다.

요구사항 분석

어노테이션 규모: 성능은 약 1,500~2,500개 문장을 어노테이션한 후에 포화 상태에 도달하며, 추가 데이터는 수익 체감(diminishing returns)을 보인다.
시드 크기: 약 75~100개의 인간 레이블 예시만으로도 효과적인 ICA를 가이드하기에 충분하며, 이를 초과하여 늘리는 것은 미미한 이득만을 준다.
모델 선택: 더 큰 모델(예: GPT-4o, Qwen-72B)은 작은 모델(예: Qwen-7B)보다 고품질의 어노테이션을 생성하지만, 스케일업된 오픈 소스 모델도 경쟁력이 있을 수 있다.

의의 및 기여

본 논문은 네 가지 주요 기여를 한다:

경험적 연구: NER을 위한 메니샷 ICL에 대한 최초의 체계적인 조사를 제공하며, 여러 데이터셋과 모델에 걸쳐 데모리스트레이션 수가 증가함에 따라 성능이 일관되게 향상됨을 입증한다.
프레임워크 제안: 적은 수의 인간 레이블을 활용하여 효율적인 다운스트림 모델을 위한 고품질 훈련 데이터를 생성하는 인컨텍스트 어노테이션(ICA) 프레임워크를 도입하여, LLM 추론 비용과 배포를 분리한다.
실험적 검증: 실험을 통해 ICA가 기존의 SOTA 저자원 NER 방법 및 전통적인 데이터 증강 기술보다 유의미하게 우수함(~10 F1 포인트)을 보여준다.
확장성 분석: 시드 데이터 크기, 어노테이션 볼륨, 모델 선택 간의 트레이드오프에 대한 실질적인 통찰을 제공하여, 메니샷 ICL이 자원이 제한된 도메인에서 NER 데이터셋을 구축하기 위한 실행 가능하고 비용 효율적인 패러다임임을 확립한다.

저자들은 시드 레이블의 필요성과 어노테이션 단계에서의 계산 오버헤드라는 한계가 존재하지만, ICA 프레임워크가 NER 작업에서 어노테이션 비용을 줄이고 데이터 효율성을 높이는 실질적인 솔루션을 제공한다고 결론짓는다.