Peacemaker at ATE-IT: Automatic term extraction from Italian text for waste management data using encoder model

기술 요약: ATE-IT의 Peacemaker

문제 정의
본 논문은 이탈리아어의 특정 도메인인 지방 자치 폐기물 관리 분야 내에서의 자동 용어 추출(Automatic Term Extraction, ATE) 과제를 다룬다. 최근 대규모 언어 모델(LLM)과 트랜스포머 아키텍처의 발전이 퓨샷(few-shot) ATE 시나리오에서 유망한 결과를 보여주었으나, 주석이 달린 학습 데이터의 제한과 도메인 간에 변화하는 다어구(multi-word expressions, MWEs) 식별의 복잡성으로 인해 정확한 레이블링은 여전히 어려운 과제이다. 저자들은 ATE-IT 2026 챌린지에 참여하였으며, 특히 폐기물 관리 규정 및 절차와 관련된 이탈리아어 텍스트에서 도메인 특화 용어를 식별하고 추출하는 것을 요구하는 Subtask A를 대상으로 하였다. 핵심 과제는 다양한 용어 빈도 전반에 걸쳐 균형 잡힌 성능을 유지하면서도, 제한된 계산 자원에서 실행 가능하고 효과적이며 해석 가능한 방법을 개발하는 것이다.

방법론
제안된 시스템인 "Peacemaker"는 미세 조정된 트랜스포머 모델을 기반으로 한 시퀀스 레이블링 프레임워크(Sequence Labeling Framework)를 채택한다. 방법론은 세 가지 주요 단계로 구성된다:

1. 데이터 전처리 및 정렬 (Data Preprocessing and Alignment):
   원시 문장 단위 용어 주석을 시퀀스 레이블링에 적합한 형식으로 변환하기 위해 커스로 제작된 전처리 파이프라인이 개발되었다.

   • BIO 태깅: 표준적인 B-I-O(Begin-Inside-Outside) 체계가 적용되어, 용어의 첫 번째 토큰에는 B-TERM을, 후속 토큰에는 I-TERM을, 비용어 토큰에는 O를 할당하였다.
   • 토큰-용어 정렬 (Token-Term Alignment): 문자 단위 용어와 서브워드(subword) 토큰 사이의 모호성을 해결하기 위해, 저자들은 토크나이저의 오프셋 매핑(offset mappings)을 활용하였다. 각 문자 위치가 단 하나의 용어에만 매핑되도록 하여 중복되는 레이블을 방지하는 마스킹 메커니즘이 구현되었다.
   • 레이블 인코딩: 기호 레이블은 수치형 ID(O=0, B-TERM=1, I-TERM=2)로 변환되었으며, 특수 토큰과 패딩은 손실 함수(loss function)에서 무시되도록 -100으로 마스킹 처리되었다.

2. 모델 아키텍처:
   시스템의 핵심은 광범위한 이탈리아어 코퍼스로 학습된 사전 학습된 cased BERT 변형 모델인 dbmdz/bert-base-italian-cased를 활용한다. 토큰 분류를 위해 백본(backbone)에 소프트맥스(Softmax) 활성화 함수가 적용된 선형 레이어가 추가되었다. 모델은 AdamW 옵티마이저(학습률 $2 \times 10^{-5}$, 가중치 감쇠 0.01)를 사용하여 배치 크기 16으로 5 에포크 동안 미세 조정되었다.

3. 평가 지표:
   성능은 두 가지 별개의 관점에서 평가되었다:

   • 유형 수준 지표 (Type-level Metrics): 빈도와 관계없이 고유한 도메인 용어를 식별하는 시스템의 능력을 평가한다 (고유 용어 수를 기준으로 한 정밀도, 재현율, F1).
   • 마이크로 수준 지표 (Micro-level Metrics): 전체 데이터셋에 걸쳐 참 양성(True Positives), 거짓 양성(False Positives), 거짓 음성(False Negatives)을 집계하여 문장 단위로 성능을 평가한다.

주요 기여
저자들은 ATE 분야에 대한 세 가지 구체적인 기여를 강조한다:

• 강건한 데이터 정렬: 이탈리아어와 ATE-IT 과제에 특화된 토큰 수준의 의미론적 정렬(BIO 태깅)을 특징으로 하는 커스텀 파이프라인을 구현하여, 토큰 경계의 모호성을 효과적으로 해결하였다.
• 고충실도 특징 추출: 이탈리아 규제 도메인 내의 토큰 수준 예측에 최적화된 문맥 인식 트랜스포머 아키텍처(dbmdz/bert-base-italian-cased)를 활용하였다.
• 재현 가능성: 서로 다른 런타임 환경에서도 환경 안정성과 재현성을 보장하기 위해 핵심 Python 의존성(예: transformers, accelerate)을 명시적으로 고정하였다.

결과
시스템은 폐쇄형 LLM(gemini-2.5-flash)을 사용한 제로샷 모드의 베이스라인 및 다른 8개 참가 팀과 비교 평가되었다.

• 베이스라인 성능: 제로샷 베이스라인은 Type F1 0.469, Micro F1 0.526을 달축성하였다.
• Peacemaker 성능: 제안된 방법은 Type Precision 0.430, Type Recall 0.455, Type F1 0.442를 달성하였다. 마이크로 수준에서는 Precision 0.497, Recall 0.476, F1 0.486을 기록하였다.
• 순위: 해당 팀은 참여한 9개 팀 중 7위를 차지하였다.
• 관찰 사항: 결과는 유형 및 마이크로 수준 모두에서 정밀도와 재현율 사이의 균형 잡힌 성능을 보여준다. 시스템은 고빈도 용어 탐지에만 의존하지 않고, 빈번하거나 드문 용어 모두에 대해 일관된 추출 능력을 입증하였다.

의의 및 주장
본 논문은 자신들의 연구 결과를 ATE를 위한 "저비용 및 해석 가능한" 방법론의 타당성을 입증하는 사례로 제시한다. 저자들은 더 크거나 더 전문화된 모델을 사용하는 팀들에 비해 절대적인 성능은 높지 않았으나(이는 아마도 계산 자원의 제한 때문일 것이다), 본 방식이 "저자원 모델을 위한 좋은 출발점"이 될 수 있다고 겸허하게 주장한다.

본 연구의 의의는 안정성과 균형에 있다. 이 방법은 반복적인 사이클을 통해 정밀도를 과도하게 최적화하지 않으면서도 일관된 추출 결과를 생성한다. 저자들은 자신들의 시스템이 자원 제약 조건 하에서도 매우 경쟁력이 있다고 결론지으며, 향후 모델 확장을 통한 발전이 높은 성능을 달성하면서도 해석 가능성을 유지할 수 있음을 시사한다. 논문은 생성형 AI 도구가 브레인스토밍과 초안 작성에만 사용되었으며, 모든 방법론적 결정과 분석은 저자들에 의해 수행되었음을 명시하고 있다.