Robust Explanations for User Trust in Enterprise NLP Systems

1. 문제 정의 (Problem)

기업용 NLP 시스템 (금융, HR 등) 은 고위험 의사결정 (리스크 스크리닝, 규정 준수 등) 에 텍스트 분류기를 활용하며, 이때 사용자 신뢰를 확보하기 위해 모델의 결정 근거를 설명하는 기능 (Explainability) 이 필수적입니다. 그러나 다음과 같은 주요 간극 (Gap) 이 존재합니다:

• 블랙박스 제약: 많은 기업 모델은 API 만을 통해 접근 가능 (내부 그래디언트나 표현층 접근 불가) 하여, 기존에 널리 쓰이는 표현 기반 설명 기법 (Representation-based explainers) 이 적용 불가능합니다.
• 안정성 부재: 기존 연구는 설명의 견고성 (Robustness) 에 대한 실증적 지침이 부족합니다. 특히, 입력 데이터에 사용자와 유사한 노이즈 (편집, 재구성, 순서 변경 등) 가 발생했을 때 설명이 일관되게 유지되는지 여부가 불명확합니다.
• 아키텍처 전환의 불확실성: 많은 조직이 BERT 와 같은 인코더 (Encoder) 기반 모델에서 Llama, Qwen 과 같은 디코더 (Decoder) 기반 LLM 으로 전환 중이지만, 이 전환이 설명의 안정성을 개선하는지 여부는 검증되지 않았습니다.

2. 방법론 (Methodology)

저자들은 엔터프라이즈 환경의 제약 (블랙박스 접근) 을 반영한 통합 블랙박스 견고성 평가 프레임워크를 제안했습니다.

• 평가 설정 (Black-box Setting): 모델 파라미터나 내부 상태에 접근하지 않고, 오직 입력 - 출력 (예측 확률) 만을 사용하는 환경을 가정합니다.
• 설명 기법 (Unified Occlusion):
  • Leave-One-Out (LOO) 가림 (Occlusion): 입력 문장의 각 단어를 하나씩 제거하고 모델 예측 확률의 변화를 측정하여 중요도 점수를 산출합니다.
  • 이 방식은 인코더와 디코더 모델 모두에 동일하게 적용 가능한 모델 중립적 (Model-agnostic) 방법입니다.
• 교란 (Perturbation) 프레임워크:
  • 현실적인 사용자 입력 노이즈를 시뮬레이션하기 위해 4 가지 유형의 교란을 적용합니다:
    1. 문자 수준: 오타 시뮬레이션 (인접 문자 교환, 삭제).
    2. 단어 수준: 동의어 교체, 단어 삭제, 국소적 단어 순서 변경 (Shuffling).
    3. 문장 수준: 역번역 (Back-translation) 을 통한 의미 보존 재구성.
  • 각 교란은 3 단계의 심각도 (Severity: 0.05, 0.10, 0.20) 로 적용됩니다.
• 평가 지표 (Flip Rate):
  • Top-1 Flip Rate (FR): 원본 입력과 교란된 입력에서 모델이 가장 중요하다고 판단한 단어 (Top-1 token) 가 변경되는 비율을 계산합니다. FR 이 낮을수록 설명이 견고합니다.
  • 통계적 신뢰도를 위해 10,000 회 부트스트랩 리샘플링을 통해 95% 신뢰 구간을 산출합니다.

3. 실험 구성

• 모델: 인코더 2 개 (BERT-base, RoBERTa-base) 와 디코더 4 개 (Qwen 7B/14B, Llama 8B/70B) 총 6 개 모델 비교.
• 데이터셋: 3 가지 벤치마크 (SST-2, AG News, IMDB) 를 사용하여 다양한 텍스트 길이와 도메인을 커버.
• 규모: 총 64,800 개의 평가 사례 (Model-Dataset-Perturbation 조합) 를 생성하여 체계적으로 비교 분석.

4. 주요 결과 (Key Results)

A. 디코더 LLM 의 압도적인 안정성

• 인코더 vs 디코더: 디코더 기반 LLM 은 인코더 기반 모델보다 약 73% 더 낮은 Flip Rate를 기록하여 설명의 안정성이 훨씬 높음을 입증했습니다.
  • 인코더 평균 FR: ~0.47 (교란 시 약 47% 의 경우 설명이 변경됨)
  • 디코더 평균 FR: ~0.125
  • 특히 IMDB 와 같이 긴 텍스트의 경우 인코더의 설명 불안정성이 극심했으나, 디코더는 안정적으로 유지되었습니다.

B. 모델 스케일링 효과 (Scaling Law)

• 모델의 파라미터 크기가 커질수록 설명의 안정성이 향상되었습니다.
  • 7B/8B 모델에서 70B 모델로 확장 시 44% 의 안정성 개선이 관찰되었습니다.
  • 예: Llama 70B 는 AG News 데이터셋에서 Flip Rate 가 0.031 (3.1%) 에 불과했습니다.

C. 교란 유형별 분석

• 파괴적 교란 (Destructive Perturbations): 단어 삭제나 순서 변경과 같은 교란에서 디코더의 우위가 가장 두드러졌습니다 (인코더 FR 0.834 vs 디코더 0.198).
• 의미 보존 교란: 동의어 교체나 역번역과 같은 교란은 두 아키텍처 모두에서 Flip Rate 가 낮았으나, 디코더가 여전히 우세했습니다.

5. 기여 및 의의 (Contributions & Significance)

A. 실용적 배포 프레임워크 제안

저자들은 설명의 안정성 (FR) 과 추론 비용 (Cost) 간의 트레이드오프를 분석하여 3 단계 배포 결정 프레임워크를 제시했습니다:

1. 규제 준수 tier (Regulatory): 70B 급 대형 디코더 모델 사용. (가장 높은 안정성, 높은 비용) - 감사 및 규정 준수 필수.
2. 균형 tier (Balanced): 7-8B 급 디코더 모델 사용. (높은 안정성, 관리 가능한 비용) - 고객-facing 애플리케이션.
3. 속도 우선 tier (Speed-first): 인코더 모델 사용. (낮은 안정성, 낮은 비용) - 실시간 정보 제공 용도.

B. 규제 및 감사 대응

EU AI Act 와 같은 규제 하에서 "일관되고 감사 가능한 설명"이 요구될 때, 인코더 기반 모델은 입력의 미세한 변화에도 설명이 바뀌어 규제 요건을 충족하기 어렵다는 점을 지적했습니다. 반면, 디코더 LLM 은 이러한 요구사항을 충족할 수 있는 견고한 대안임을 입증했습니다.

C. 연구의 의의

• 블랙박스 환경에서의 표준 평가 프로토콜 확립: 내부 접근이 불가능한 환경에서도 설명의 견고성을 정량적으로 평가할 수 있는 방법론을 제시했습니다.
• 엔터프라이즈 NLP 모범 사례: 단순한 정확도 (Accuracy) 를 넘어, 설명의 안정성 (Robustness) 을 모델 선택의 핵심 기준으로 삼아야 함을 강조했습니다.

결론

이 논문은 엔터프라이즈 환경에서 블랙박스 제약 하에 디코더 기반 LLM 이 인코더 기반 모델보다 훨씬 견고하고 신뢰할 수 있는 설명을 제공함을 실증적으로 증명했습니다. 특히 모델 규모가 커질수록 안정성이 향상되며, 이는 규제 준수와 사용자 신뢰가 중요한 금융, HR 등의 분야에서 모델 선정 및 배포 전략 수립에 중요한 지침을 제공합니다.