기술 요약: 인물-장소 관계 추출을 위한 DistilledGemma

문제 정의

본 논문은 HIPE-2026 공유 태스크의 맥락 내에서, 다국어 역사 신문 기사로부터 인물-장소 관계 추출(Person-Place Relation Extraction) 문제를 다룹니다. 목표는 영어, 독일어, 프랑스어 텍스트에서 추출된 인물 및 장소 엔티티 간의 관계를 분류하는 것입니다. 이 작업은 두 가지 특정 관계를 예측하는 것을 포함합니다:

1. at: 해당 인물이 해당 장소와 연관된 적이 있는지 여부 (레이블: TRUE, PROBABLE, FALSE).
2. isAt: 해당 인물이 기사의 즉각적인 시간적 지평 내에 해당 장소에 있는지 여부 (레이블: TRUE, FALSE).

이 과제는 다음과 같은 상당한 난관을 제시합니다:

• 노이즈가 있는 OCR 텍스트: 역사적 문서는 엔티티 언급의 품질을 저하시키는 빈번한 광학 문자 인식(OCR) 오류를 포함하고 있습니다.
• 클래스 불균형: 부정적 레이블이 데이터셋을 지배하며(at의 경우 약 55%, isAt의 경우 78%), 이는 모델이 허위 예측을 하도록 편향되게 만듭니다.
• 다국어 추론: 모델은 데이터 가용성이 서로 다른 세 가지 유형학적으로 다양한 언어에 대해 일관되게 수행되어야 합니다.
• 암시적 증거: 많은 연결이 명시적이기보다 암시적으로 존재하며, 이는 세계 지식과 맥락적 추론을 요구합니다.

대규모 언어 모델(LLM)은 유망하지만, 수백만 개의 역사적 문서를 처리하기 위해 충분한 용량(예: 26B 이상의 파라미터)을 가진 모델을 배포하는 것은 계산적으로 비현실적입니다. 핵심 연구 질문은 대규모로 미세 조정된 LLM의 관계 추출 능력이 성능의 치명적인 손실 없이 실질적인 배포에 적합한 더 작은 모델으로 증류(distill)될 수 있는지 여부입니다.

방법론

저자들은 분류 정확도와 계산 효율성의 균형을 맞추기 위해 설계된 3단계 지식 증류 파이프라인인 DistilledGemma를 제안합니다.

1단계: 모델 선택 및 프롬프트 엔지니어링

저자들은 네 가지 모델 제품군(Gemma, Qwen, Mistral, HY-MT)에 걸쳐 8가지 LLM 구성을 다양한 프롬프트 엔지니어링 전략을 사용하여 체계적으로 평가했습니다.

• 프롬프트 설계: 5가지 프롬프트 변형을 테스트했으며, 생각의 사슬(Chain-of-Thought, CoT) 템플릿이 가장 효과적인 것으로 입증되었습니다. 이 프롬프트는 모델을 역사학자로 설정하고, at 및 isAt 관계를 명시적으로 정의하며, 논리적 제약 조건(예: isAt이 TRUE이면 at도 TRUE여야 함)을 강제하고, 간결하고 증거에 기반한 JSON 출력을 요구합니다.
• 선택: Gemma 4 26B A4B 모델이 우수한 제로샷 매크로 평균 재현율(0.7255)과 타겟 학생 모델 제품군과의 정렬 덕분에 "교사(teacher)" 모델로 선택되었습니다.

2단계: 교사 모델 미세 조정 및 실버 데이터 생성

선택된 교사 모델은 HIPE 학습 데이터를 사용하여 QLoRA(Quantized Low-Rank Adaptation)를 통해 미세 조정되었습니다.

• 구성: LoRA rank $r=32, \alpha=64$를 적용하여 모든 어텐션 및 MLP 프로젝션에 적용되었습니다. 훈련은 배치 크기 32(그래디언트 누적을 통해)로 3 에포크 동안 진행되었습니다.
• 데이터 생성: 미세 조정된 교사 모델은 전체 코퍼스에 대한 실버 표준(silver-standard) 학습 데이터를 생성했습니다. 결정적으로, 이러한 출력에는 예측된 레이블뿐만 아니라 각 결정 뒤에 숨겨진 추론 과정을 포착하는 생각의 사슬(CoT) 설명이 포함되었습니다.

3단계: 학생 모델 증류

컴팩트한 Gemma 4 E2B 모델(약 2.3B 파라미터)이 "학생(student)" 역할을 수행했습니다.

• 훈련 전략: 학생 모델은 QLoRA($r=16, \alpha=32$)를 사용하여 6 에포크 동안 교사가 생성한 실버 데이터로 훈련되었습니다.
• 증류 접근 방식: 이는 학생이 단순히 레이블만을 학습하는 것이 아니라, 교사의 구조화된 추론 패턴과 레이블 출력을 모방하도록 학습하는 **응답 수준 증류(response-level distillation)**였습니다.
• 배포: LoRA 어댑터를 베이스 모델에 병합하여 추론 가능한 2.3B 파라미터 모델을 생성했습니다.

후처리

클래스 불균형을 해결하고 의미론적 일관성을 보장하기 위해 모든 출력에 규칙 기반 후처리 단계가 적용되었습니다. 이는 다음을 강제합니다:

1. 엔티티 유형 호환성.
2. 관계 방향 제약(인물-대상 장소).
3. 맥락적 트리거 패턴.
4. 논리적 제약(특히, isAt=TRUE는 at=TRUE를 함의함).

주요 결과

"WHEREAMI" 팀이 제출한 시스템은 공식 HIPE-2026 평가에서 다음과 같은 결과를 달성했습니다:

• 표준 정확도 프로필: 평균 프로필 점수 0.688로 3위를 기록했습니다.
• 이진 정확도 프로필: 평균 프로형 점수 0.8156로 2위를 기록했습니다.
• 균형 잡힌 효율성-정확도 프로필: 표준 및 이진 테스트 세트 모두에서 2위를 기록했습니다.

증류 효과성:

• 증류된 2.3B 학생 모델은 26B 교사 모델의 매크로 평균 재현율 성능의 약 **88%**를 회복했습니다.
• 이는 배포된 파라미터 수를 11배 감소시키면서 달성되었습니다.
• 증류된 학생 모델은 여러 더 큰 제로샷 모델(예: Qwen3.5 9B 및 Gemma 4 E4B)보다 매크로 평균 재현율에서 높은 성능을 보였으며, 이는 증류가 소형 모델과 대형 모델 사이의 성능 격차를 메울 수 있음을 입증합니다.

효율성:

• 2.3B 학생 모델은 단일 소비자용 GPU(<8 GB VRAM)에서 서빙될 수 있으며, 초당 약 50개의 쌍을 처리할 수 있습니다.
• 반면, 26B 교사 모델은 고용량 메모리 하드웨어를 필요로 하며 데이터 생성을 위해서만 오프라인으로 사용되었습니다.

의의 및 주장

본 논문은 DistilledGemma가 역사적 문서 처리를 위한 실용적이고 확장 가능한 솔루션을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 역사적 NLP를 위한 지식 증류의 실행 가능성: 복잡한 추론 능력을 대규모 미세 조정된 LLM으로부터 컴팩트한 모델로 성능 저하 없이 전이하는 것이 가능하다는 것을 보여줍니다.
2. 추론 전이의 중요성: 교사의 생각의 사슬(CoT) 궤적을 학습하는 것(응답 수준 증류)은 학생이 구조화된 추론 패턴을 학습하게 하며, 이는 레이블만 학습하는 것보다 특히 미묘한 증거 평가가 필요한 작업에서 더 효과적입니다.
3. 효율성-정확도 트레이드오프: 이 접근 방식은 26B+ 파라미터 모델을 배포하는 데 따르는 과도한 계산 비용 없이 다국어 관계 추출에서 경쟁력 있는 성능을 달성하여, 대규모 디지털 인문학 파이프라인에 적합함을 보여줍니다.

저자들은 대규모 모델이 제로샷 설정에서 우세하지만, 정교하게 설계된 증류 파이프라인이 계산 자원이 제한된 실제 배포 시나리오에서 더 우수한 균형을 제공한다고 결론짓습니다.