Building an Ensemble LLM Semantic Tagger for UN Security Council Resolutions

이 논문은 UN 안보리 결의안의 의미 태깅을 위해 여러 LLM 의 성능 변이를 활용한 앙상블 방법론과 환각을 방지하는 새로운 평가 지표를 도입하여, 비용 효율적으로 고품질의 데이터 정제 및 태깅 결과를 도출하는 신뢰할 수 있는 시스템을 제안합니다.

핵심

📚 1. 문제 상황: "지저분한 고서적"

유엔은 1946 년부터 지금까지 수많은 문서 (결의안) 를 만들어냈습니다. 하지만 이 문서들은 다음과 같은 문제가 있었습니다.

• 타자기로 작성되어 스캔됨: 글자가 번지거나 틀린 경우가 많아요 (OCR 오류).
• 이중 열 형식: 옛날 문서들은 한 페이지에 영어와 프랑스어가 나란히 두 줄로 적혀 있어, 컴퓨터가 읽으면 글자가 뒤섞여 버립니다. (예: "안녕" 옆에 "Bonjour"가 붙어 있으면 컴퓨터는 "안녕 Bonjour"로 읽게 됩니다.)

이런 "지저분한 원고"를 컴퓨터가 제대로 이해하려면 먼저 **정리 (Cleaning)**를 해야 하고, 그다음에 **핵심 내용을 표시 (Semantic Tagging)**해야 합니다.

🤖 2. 해결책: "AI 팀의 협업 (Ensemble)"

저자는 혼자 일하는 AI 하나만 믿지 않고, 여러 개의 AI 모델 (GPT-4, GPT-5 등) 을 한 팀으로 모아 협업시키는 방식을 썼습니다.

• 비유: 한 명의 천재 요리사에게 요리를 맡기기보다, 여러 명의 요리사에게 같은 재료를 주고 요리를 시킨 뒤, 가장 맛있는 요리를 골라내는 방식입니다.
• 작동 원리:
  1. 같은 문서를 7 가지 다른 AI 모델에게 각각 2 번씩 처리하게 합니다. (총 14 개의 결과물이 나옵니다.)
  2. 이 결과물 중 가장 원본에 충실하고, 태그 (표시) 가 잘 된 것을 골라냅니다.

📏 3. 심사 기준: "실수하지 않는 척도"

AI 는 가끔 엉뚱한 말을 지어내거나 (할루시네이션), 중요한 내용을 빼먹는 실수를 합니다. 그래서 저자는 두 가지 중요한 **심사 기준 (메트릭)**을 만들었습니다.

1. 내용 보존 비율 (CPR):
   • 비유: "원래 글자를 얼마나 그대로 남겼나요?"
   • AI 가 내용을 임의로 추가하거나 빼먹지 않고, 원본의 글자 조합을 얼마나 정확히 유지했는지 측정합니다.
2. 태그 완성도 (TWF):
   • 비유: "옷을 입힐 때 단추를 다 잠갔나요?"
   • <태그>로 시작하면 반드시 </태그>로 끝나는지, 태그가 헝클어지지 않았는지 확인합니다.

💰 4. 결과: "가성비 좋은 승자"

이 실험을 통해 놀라운 결과가 나왔습니다.

• 최고의 성능: 가장 최신 모델인 GPT-4.1이 가장 좋은 점수를 받았습니다. (내용 보존 99.99%, 태그 완성도 99.92%)
• 가성비의 승리: 하지만 무조건 비싼 모델이 좋은 건 아닙니다. GPT-4.1-mini라는 작은 모델은 성능은 거의 비슷하면서, 비용은 20% 수준으로 훨씬 저렴했습니다.
  • 비유: "명품 브랜드 옷을 사지 않아도, 합리적인 가격에 똑같은 스타일을 입을 수 있다"는 뜻입니다.

🚀 5. 왜 중요한가요?

이 기술을 통해 유엔의 방대한 문서들을 **컴퓨터가 쉽게 이해할 수 있는 구조 (지식 그래프)**로 바꿀 수 있습니다.

• 미래의 모습: "유엔이 1990 년에 어떤 결정을 내렸는지?"라고 검색하면, AI 가 문서 속의 '국가', '날짜', '이벤트'를 찾아서 바로 연결해 줄 수 있게 됩니다.
• 핵심 메시지: AI 를 무작정 믿고 쓰는 게 아니라, 여러 모델을 비교하고 엄격한 기준으로 검증하면, 훨씬 더 정확하고 저렴한 방법으로 거대한 데이터를 정리할 수 있다는 것을 증명했습니다.

🎯 한 줄 요약

**"지저분한 유엔 문서들을 여러 AI 팀이 경쟁하게 하고, 가장 정확하고 저렴한 결과를 골라내어 컴퓨터가 읽기 쉬운 '지식 지도'로 만든 혁신적인 방법론"**입니다.

기술 요약

논문 요약: UN 안보리 결의문을 위한 앙상블 LLM 기반 시맨틱 태깅 시스템 구축

1. 문제 정의 (Problem)

• 데이터의 복잡성: UN 안보리 결의문 (1946 년~2025 년) 은 타이핑, 스캔, OCR(광학 문자 인식) 과정을 거쳐 생성된 노이즈가 많은 텍스트입니다. 특히 1980 년대 이전 문서는 영어와 프랑스어가 나란히 배치된 '2 열 형식'으로 되어 있어, 기존 NLP 도구가 처리하기 매우 어렵습니다.
• LLM 의 한계: 대규모 언어 모델 (LLM) 은 제로샷 (zero-shot) 태깅이 가능하지만, 확률적 (stochastic) 특성으로 인해 동일한 입력에 대해 매번 다른 출력을 생성할 수 있습니다. 또한, 할루시네이션 (허위 정보 생성) 이나 원본 텍스트의 불필요한 생략/추가 (오버/언더 제너레이션) 가 발생할 위험이 있습니다.
• 평가의 어려움: LLM 의 출력 품질을 정량적으로 측정하고, 어떤 모델이 특정 작업에 가장 적합한지 판단할 수 있는 표준적인 평가 지표가 부족했습니다.

2. 방법론 (Methodology)

저자는 LLM 의 성능 변이 (variability) 를 활용하여 신뢰할 수 있는 앙상블 시스템을 구축하는 새로운 방법론을 제시합니다.

• 이중 단계 처리 파이프라인:
  1. 텍스트 정제 (Cleaning): OCR 오류 수정, 2 열 형식을 1 열 형식으로 변환, 불필요한 하이픈 및 줄바꿈 제거, 영어/프랑스어 분리.
  2. 시맨틱 태깅 (Semantic Tagging): 정제된 텍스트에 <location>, <entity>, <event>, <organization>, <date> 와 같은 XML 태그를 적용하여 구조화.
• 앙상블 전략:
  • 여러 모델 (GPT-4.1, GPT-4.1-mini, GPT-5 등) 을 사용하여 동일한 입력에 대해 여러 번 (Temperature=1 로 설정하여 변이 유도) 실행합니다.
  • 각 실행 결과 중 가장 우수한 출력을 선택하기 위해 새로운 평가 지표를 도입합니다.
• 주요 평가 지표 (Metrics):
  • 콘텐츠 보존 비율 (Content Preservation Ratio, CPR): 입력 텍스트와 출력 텍스트 간의 '빅그램 (bigram)' 빈도수를 비교합니다. 출력에서 원본 텍스트가 누락되거나 추가된 경우를 정량화하여, 원본 충실도를 측정합니다. (편집 거리 대신 빅그램을 사용한 이유는 노이즈가 많은 2 열 형식 데이터 특성 때문입니다.)
  • 태그 잘 형성됨 (Tag Well-Formedness, TWF): XML 태그의 구조적 무결성을 확인합니다. 모든 오픈 태그에 대응하는 클로징 태그가 존재하고, 중첩이 올바르게 이루어졌는지 알고리즘으로 검증합니다.
  • 찾은 태그 수 (nT): 회상률 (Recall) 을 극대화하기 위해 식별된 태그의 총 수를 측정합니다.

3. 주요 기여 (Key Contributions)

1. 실용적 확장성 있는 파이프라인: UN 안보리 결의문의 역사적 데이터를 정제하고 시맨틱 태깅을 수행하는 LLM 파이프라인을 구축했습니다.
2. 새로운 평가 지표 개발: LLM 기반 문서 변환 작업의 품질을 보장하기 위해 CPR과 TWF 지표를 제안했습니다. 이는 할루시네이션 방지 및 원본 텍스트 보존을 위한 핵심 도구입니다.
3. 모델 비교 분석: 다양한 크기와 세대의 LLM 모델 (GPT-4.1, GPT-5, Mini, Nano 등) 간의 정확도와 비용 효율성을 실증적으로 비교 분석했습니다.
4. 데이터셋 구축: 시맨틱적으로 주석이 달린 UN 안보리 결의문 코퍼스를 생성하여, 지식 그래프 구축 등 하위 응용 프로그램을 지원할 수 있는 기반을 마련했습니다.

4. 실험 결과 (Results)

10 개의 샘플 문서를 대상으로 한 실험 결과는 다음과 같습니다.

• 정제 작업 (Cleaning):
  • 최고 성능: GPT-4.1 이 가장 높은 CPR(84.9%) 을 기록했습니다.
  • 비용 효율성: GPT-4.1-mini 는 GPT-4.1 과 유사한 성능 (CPR 83.5%) 을 내면서 비용은 약 20% 수준 ($0.0028/문서) 으로 크게 절감되었습니다.
• 시맨틱 태깅 작업 (Semantic Tagging):
  • 최고 성능: GPT-4.1 이 CPR(99.99%), TWF(99.92%), 태그 수 (92.6) 에서 모두 최상위권을 기록했습니다.
  • 비용 효율성: GPT-4.1-mini 는 GPT-4.1 의 약 19% 비용 ($0.0033/문서) 으로 비교 가능한 성능 (CPR 99.92%, TWF 99.64%) 을 달성했습니다.
  • 소형 모델의 한계: Nano 모델은 처리 속도는 빠르지만, 문서 정제 및 태깅 정확도가 현저히 낮았습니다.
• 앙상블 효과: 여러 모델과 실행 결과를 CPR, TWF, 태그 수 순서로 정렬하여 최적의 출력을 선택함으로써, 단일 모델 사용보다 신뢰할 수 있는 결과를 도출했습니다.

5. 의의 및 결론 (Significance)

• 비용 최적화: 이 연구는 고가의 대형 모델 대신 소형 모델 (Mini 등) 을 활용하여 동급의 성능을 달성할 수 있음을 입증했습니다. 이는 데이터 집약적인 작업에서 막대한 상업적 비용 절감 효과를 가져옵니다.
• 신뢰성 있는 AI 시스템: LLM 의 확률적 특성을 통제하고 정량적 지표 (CPR, TWF) 를 통해 출력을 검증하는 체계적인 접근법은, AI 의 할루시네이션을 줄이고 인간이 AI 출력을 더 잘 통제할 수 있게 합니다.
• 지식 그래프 구축의 토대: 정제되고 시맨틱 태깅이 완료된 UN 문서는 Akoma Ntoso 표준 등에 부합하는 구조화된 지식 그래프 구축의 핵심 자료가 될 수 있습니다. 이는 평화 유지, 인권, 지속 가능한 발전 등 UN 의 핵심 분야에 대한 데이터 분석과 투명성 있는 지식 시스템을 구축하는 데 기여합니다.

결론적으로, 본 논문은 LLM 을 단순히 텍스트 생성 도구가 아닌, 엄격한 평가 지표와 앙상블 전략을 통해 통제 가능한 데이터 엔지니어링 도구로 활용하는 새로운 패러다임을 제시했습니다.