기술 요약: 다중 레이블 분류를 위한 RAPT

문제 정의

산업용 다중 레이블 문서 이해 파이프라인에서 모델 출력 (점수 벡터) 을 최종 할당된 레이블 집합으로 전환하는 과정은 중요한 병목 현상입니다. 분류기는 레이블별 신뢰도 점수를 생성하지만, 여러 요인으로 인해 최종 레이블 집합을 선택하기 위한 최적의 컷오프 (임계값) 를 결정하는 것은 어렵습니다:

• 인스턴스 의존적 카디널리티: 관련 레이블의 수는 문서 간에 크게 달라집니다.
• 비대칭 오류 비용: 거짓 양성 ( spurrious 레이블) 과 거짓 음성 (누락된 레이블) 은 서로 다른 운영상 결과를 초래하며, 종종 잘못된 하류 추출 또는 검증 워크플로우를 유발합니다.
• 데이터 이질성: 산업 환경에는 노이즈가 많은 OCR, 불균형한 레이블 분포, 진화하는 문서 형식이 포함되어 있어 전역 정적 임계값이 취약하고 유지 관리가 어렵게 만듭니다.
• 배포 제약: 기존 솔루션은 종종 모델을 재학습하거나 복잡한 레이블별 최적화가 필요하여 레거시 시스템이나 급변하는 문서 컬렉션에는 비실용적입니다.

방법론: RAPT

저자들은 기존 분류기를 재학습하지 않고 추론 시 임계값 결정에 사례 기반 추론 (CBR) 을 적용하는 모델-중립적 래퍼인 RAPT(Retrieval-Augmented Post-hoc Thresholding, 검색 증강 사후 임계값 설정) 를 제안합니다.

핵심 구성 요소

1. 사례 기반 구축:

   • 추가 주석 없이 기존 학습/검증 데이터에서 구축됩니다.
   • 각 사례 $C$는 입력 인스턴스 $x$, 모델 임베딩 $z$, 모델의 예측 점수 벡터 $\hat{Y}$, 그리고 정답 레이블 벡터 $Y$로 구성됩니다.
   • 임계값 증거는 각 학습 인스턴스에 대해 $\hat{Y}$와 $Y$ 간의 불일치를 분석하여 자동으로 도출됩니다.

2. 사례 검색:

   • 쿼리 문서에 대해 시스템은 임베딩 공간 ($z_q$ 대 $z_i$) 에서 코사인 유사도를 사용하여 사례 기반에서 가장 유사한 $k$개의 사례를 검색합니다.
   • 유사도 점수는 적응 단계에 대한 중요도 가중치 ($w_i$) 로 작용합니다.

3. 이웃 적응 (점수 정제):

   • 직접적인 레이블 투표 대신 RAPT 는 검색된 이웃의 잔차 보정을 사용하여 쿼리의 점수 벡터 $\hat{Y}_q$를 적응시킵니다.
   • 이웃 $i$에 대한 적응된 점수는 다음과 같이 계산됩니다: $Y_{q,i} = \hat{Y}_i + \Delta_{1,i} + \Delta_{2,i}$.
     • $\Delta_{1,i}$ (모델 적응): 이웃의 점수 프로파일을 쿼리의 원시 출력 ($\hat{Y}_q - \hat{Y}_i$) 에 정렬합니다.
     • $\Delta_{2,i}$ (잔차 보정): 이웃의 오류 패턴 ($Y_i - \hat{Y}_i$) 을 전파합니다.
   • 최종 적응된 점수 벡터 $\tilde{Y}_q$는 이러한 보정된 벡터들의 유사도 가중 평균입니다.

4. 동적 임계값 설정 전략:
   적응된 점수는 두 가지 이웃 전략에 의해 결정된 쿼리별 임계값 $\tau_q$를 사용하여 이진 레이블로 변환됩니다:

   • AvgCount ($Rapt^\#$): 이웃의 카디널리티를 평균화하여 활성 레이블의 예상 수 ($k^*$) 를 추정합니다. 임계값은 상위 $k^*$개 점수를 선택하도록 설정됩니다.
   • Rank Calibration ($Rapt^\geq$): 검색된 이웃에서 양수 레이블에 할당된 최소 신뢰도 점수의 가중 평균으로 임계값을 계산합니다. 이는 유사한 컨텍스트에서 양수 레이블을 구성하는 "로컬 경계"를 설정합니다.

주요 기여

1. 자동화된 사례 기반 구축 프레임워크: 정답과 모델 점수에서 임계값 증거를 직접 추론하여 추가 인력 주석이 필요 없게 하는 표준 학습 데이터로부터 CBR 사례 기반을 구축하는 방법.
2. 이웃 기반 동적 임계값 설정: 임계값 설정 전에 점수 벡터를 조정하기 위해 유사한 인스턴스의 잔차 오류 정보를 활용하는 특정 적응 전략 (AvgCount 및 Rank Calibration) 도입.
3. 포괄적 평가: 산업용 데이터셋 (WM Nicol) 과 6 개 공개 벤치마크 (뉴스, 법률, 의료, 전자상거래 분야 포함) 에 대한 검증을 통해 정적 베이스라인보다 일관된 개선을 입증.
4. 효율성 분석: 추론 속도와 리소스 소비 측면에서 Few-Shot 대규모 언어 모델 (LLM) 보다 RAPT 가 우월함을 보여주는 비교 연구.

결과

산업 및 공개 데이터 성능

• 산업 환경 (WM Nicol): RAPT 는 메트릭 러너 (특히 ProtoNet) 와 함께 가장 좋은 성능을 달성하여 Macro-F1 0.87을 기록했습니다. 이는 고정된 전역 임계값 (0.5) 대비 10.8% 의 상대적 향상이자 전역 최적화 임계값 대비 11.1% 의 향상입니다.
• Transformer 백본: 완전히 파인튜닝된 Transformer 는 이미 보정된 점수로 인해 modest 한 향상만 보였지만, RAPT 는 보정이 잘되지 않은 모델을 크게 향상시켰습니다. 예를 들어, 사전 학습된 BERT-base 모델은 RAPT 와 결합되었을 때 Macro-F1 이 0.096 에서 0.631로 향상되었습니다.
• 공개 벤치마크: 175 개의 모델 - 데이터셋 조합 (7 개 데이터셋, 4 개 메트릭 러너, 7 개 Transformer) 에서 RAPT 는 **130 건 (74.3%)**에서 최상의 정적 베이스라인 (전역, 최적화, 또는 레이블별) 보다 우월했으며, 평균 Macro-F1 향상은 +0.093이었습니다.

효율성 비교 (WM Nicol)

RAPT 구성은 Few-Shot LLM 베이스라인 (Qwen3-32B) 대비 상당한 효율성 우위를 보였습니다:

• 추론 속도: RAPT 는 115 배 더 빠르며(문서당 38–236 ms 대 LLM 의 27–48 초)였습니다.
• 메모리 사용량: RAPT 는 13.5 배 적은 GPU 메모리 ($\le$ 2.23 GB 대 >30 GB) 를 필요로 했습니다.
• 비용: RAPT 는 하드웨어 정규화 비용을 현저히 낮추어 고처리량 산업 워크플로우에 적합했습니다.

실패 모드

저자들은 산업 환경에서 두 가지 특정 실패 모드를 확인했습니다:

1. 공발생 기반 거짓 양성: 레이블이 자주 공발생하는 경우 (예: "Hazardous Waste Note"와 "SEPA Note"), 두 레이블을 모두 포함하는 이웃의 검색이 점수를 과대평가하여 spurrious 예측을 초래했습니다. Rank Calibration 전략 ($Rapt^\geq$) 은 더 보수적인 임계값을 적용함으로써 이를 부분적으로 완화했습니다.
2. 형식 - 콘텐츠 모호성: 문서 형식 (예: 이메일 스타일 구매 주문서) 이 의미론적 콘텐츠보다 더 유사할 때 검색 품질이 저하되어 잘못된 결정을 강화했습니다. 이는 백본 임베딩 공간의 품질에 대한 의존성을 강조합니다.

중요성과 주장

이 논문은 RAPT 를 다중 레이블 분류의 "마지막 마일"을 위한 배포 지향적 솔루션으로 위치시킵니다. 그 주요 중요성은 다음과 같습니다:

• 모델 중립성: 임베딩과 점수를 제공하는 모든 예측기 (메트릭 러너, 파인튜닝된 Transformer) 에 대한 래퍼로 작용하며, 아키텍처 변경이나 재학습이 필요 없습니다.
• 진화에 대한 강건성: 사례 기반의 로컬 증거에 의존함으로써 문서 형식과 레이블 분포의 변화에 적응하며 지속적인 모델 재학습이 필요하지 않습니다.
• 실용적 타당성: 복잡한 모델의 높은 정확도와 산업 파이프라인의 운영 제약 사이의 간극을 메우며, 레이블 집합 선택을 개선하기 위한 경량 사후 메커니즘을 제공합니다.
• LLM 대비 우위: 문서 분류 컨텍스트에서 RAPT 는 높은 지연 시간과 메모리 오버헤드를 겪는 Few-Shot LLM 보다 효율적이고 비용 효과적인 대안을 제공합니다.

저자들은 RAPT 가 문서 컬렉션이 진화함에 따라 강건성을 개선하기 위한 경량 메커니즘이 필요한 기존 분류기를 보유한 조직에게 특히 가치 있다고 결론지었습니다.