ProtoSiTex: Learning Semi-Interpretable Prototypes for Multi-label Text Classification

기술 요약: ProtoSiTex

문제 제기
사용자 생성 텍스트의 급속한 확산은 내재적 해석 가능성을 갖춘 세밀한 다중 레이블 분류가 가능한 모델을 필요로 합니다. 트랜스포머 기반 언어 모델은 최첨단 성능을 달성하지만, "블랙박스"로 작동하여 투명성이 제한적입니다. 기존 사후 설명 방법 (예: LIME, SHAP) 은 종종 충실도와 일관성이 부족합니다. 반면, 내재적 해석 가능성을 가진 프로토타입 기반 네트워크 (PBN) 는 일반적으로 문장 또는 문서 수준의 거친粒度 (granularity) 에서 작동하며 단일 레이블 작업에 크게 제한됩니다. 이러한 한계로 인해 텍스트가 중첩되거나 상충되거나 다면적인 감정을 포함하는 실제 시나리오 (예: 전망은 칭찬하지만 직원을 비판하는 리뷰) 를 처리하는 데 어려움을 겪습니다. 또한, 세밀한 해석 가능성 평가를 방해하는 문장 단위 이하 (subsentence-level) 다중 레이블 주석이 제공되는 데이터셋이 부족합니다.

방법론: ProtoSiTex
저자들은 세밀한 다중 레이블 텍스트 분류를 위해 설계된 준해석적 (semi-interpretable) 프레임워크인 ProtoSiTex를 제안합니다. "준해석적"이라는 용어는 예측에 대한 충실한 프로토타입 기반 설명을 제공하면서도 완전히 투명하지 않은 잠재 신경 메커니즘 (예: 어텐션, 임베딩) 에 의존하는 모델을 의미합니다. 아키텍처는 세 가지 핵심 단계로 구성됩니다:

1. 문장 단위 이하 표현: 입력 문서는 문단으로 분할된 후 구두점 단서를 사용하여 *문장 단위 이하 (subsentences)*로 더 세분화됩니다. 언어 모델 인코더 (실험에서는 구체적으로 RoBERTa-Large) 는 이러한 문장 단위 이하에 대한 문맥 인식 임베딩을 생성합니다.
2. 이중 위상 교대 학습: 모델은 두 단계를 오가는 독특한 학습 전략을 사용합니다:
   • 비지도 프로토타입 발견 (클러스터링 단계): 학습 가능한 프로토타입 레이어가 멀티헤드 어텐션 (MHA) 과 결합하여 의미적으로 일관되고 다양한 프로토타입을 발견합니다. 이 단계는 프로토타입 붕괴와 중복을 방지하기 위해 근접 기반 손실 (문장 단위 이하가 가장 가까운 프로토타입과 정렬되도록 보장) 과 구조 정규화 손실 (프로토타입 간의 희소성과 다양성을 강제) 을 사용합니다.
   • 지도 분류: 발견된 프로토타입은 클래스 레이블에 매핑됩니다. 이 단계는 문장 단위 이하, 문장, 문서의 세 수준 전반에 걸쳐 일관성을 강제하는 계층적 손실 함수를 활용합니다. 이는 문장 단위 이하 레이블을 집계하여 프로토타입 수준에서 실제 레이블을 동적으로 구성하고, 이진 매핑 행렬 ($M_1$은 문서 - 문장 간, $M_2$는 문장 - 문장 단위 이하 간) 을 통해 예측을 상향식으로 전파합니다.
3. 추론 및 설명: 추론 중 모델은 계층적 집계를 통해 문서 수준 레이블을 예측합니다. 핵심적으로, 각 문장 단위 이하를 가장 가까운 프로토타입에 연결하고 해당 프로토타입과 관련된 상위 K 개의 가장 유사한 학습 문장 단위 이하를 검색하여 설명을 생성합니다. 이러한 예시들은 LLM 을 사용하여 요약되어 예측에 대한 인간이 읽을 수 있는 근거를 제공합니다.

주요 기여

1. 준해석적 프레임워크: ProtoSiTex 는 문장 단위 이하 수준에서 세밀한 다중 레이블 분류를 수행하는 최초의 프로토타입 기반 프레임워크입니다. 적응형 프로토타입과 멀티헤드 어텐션을 사용하여 중첩되고 상충되는 의미를 분리하며, 이는 기존 PBN 들이 lacked 한 기능입니다.
2. 이중 위상 최적화 및 계층적 감독: 제안된 교대 학습 전략은 비지도 프로토타입 발견과 지도 분류를 분리하여 일반화를 개선하고 과적합을 줄입니다. 계층적 손실 함수는粒度 전반에 걸쳐 의미 일관성을 보장하여 구조화된 레이블 전파를 가능하게 합니다.
3. 새로운 벤치마크 데이터셋 (HR): 저자들은 문장 단위 이하 수준에서 8 가지 다중 레이블 측면 (예: 객실 및 편의 시설, 음식, 위치) 으로 주석이 달린 3,002 개의 리뷰를 포함하는 호텔 리뷰 (HR) 데이터셋을 소개합니다. 이 데이터셋은 해석 가능성 평가를 위한 실제 레이블 스패인을 포함하여 기존 벤치마크의 격차를 해소합니다.
4. 적응형 의미 집계: 모델은 미분 가능한 집계를 통해 문장 단위 이하 증거, 적응형 프로토타입, 문서 예측 간의 명시적 정렬을 수립하여 예측 성능을 희생하지 않으면서 추적 가능한 설명을 용이하게 합니다.

실험 결과
실험은 제안된 HR 데이터셋과 공개 벤치마크인 IMDb(이진 감정) 및 TweetEVAL(다중 클래스 감정) 에서 수행되었습니다.

• 성능: ProtoSiTex 는 모든 데이터셋에서 최첨단 성능을 달성했습니다. HR 데이터셋에서 Macro-F1 점수 **87.22%**와 균형 정확도 **83.68%**를 기록하여 강력한 블랙박스 베이스라인 (예: RoBERTa-Large, DeBERTaV3) 과 기존 프로토타입 기반 모델 (예: GAProtoNet, ProtoLens) 보다 우수한 성능을 보였습니다.
• 비교: 단순 작업 (IMDb) 에서 대형 블랙박스 트랜스포머와 정확도를 맞췄지만, ProtoSiTex 는 복잡하고 다중 레이블인 HR 데이터셋에서 이를 크게 능가했습니다. 또한 다중 레이블 설정에서 폐쇄형 및 오픈형 LLM(예: GPT, LLaMA) 을 능가하여 레이블 의존성과 세밀한 의미를 처리하는 능력이 우수함을 입증했습니다.
• 결손 연구: 분석은 이중 위상 교대 학습, 유사성을 위한 멀티헤드 어텐션, 무작위 프로토타입 초기화가 성능에 결정적임을 확인했습니다. 연구는 또한 양방향 문맥과 밀집 임베딩 공간 덕분에 RoBERTa 와 같은 마스크 기반 인코더가 이 특정 아키텍처에 대해 자기회귀 모델보다 더 효과적임을 지적했습니다.

의의 및 주장
이 논문은 ProtoSiTex 가 준해석적 다중 레이블 텍스트 분류에 대한 견고한 솔루션을 확립한다고 주장합니다. 그 주요 의의는 복잡하고 실제적인 시나리오에서 예측 정확도와 해석 가능성 사이의 격차를 해소하는 데 있습니다. 문장 단위 이하 수준에서 작동함으로써, 모델은 단일 문서 내에 여러 상충되는 감정이 존재할 때조차 특정 레이블이 할당된 이유를 충실히 설명할 수 있습니다. 저자들은 이 프레임워크가 경쟁력 있는 성능을 유지하면서 "충실하고 인간과 정렬된 설명"을 제공한다고 주장하며, 신뢰, 공정성 및 규제 준수가 필요한 응용 분야에 적합하다고 강조합니다. HR 데이터셋의 도입은 세밀하고 해석 가능한 다중 레이블 모델의 경험적 벤치마킹을 가능하게 하는 중요한 기여로 부각됩니다.