기술 요약: Unlearners Can Lie: LLM 망각에서의 정직성 평가 및 개선

1. 문제 제기

대형 언어 모델 (LLM) 망각은 민감하거나 유해한 정보와 같은 특정 학습 데이터를 선택적으로 제거하면서도 모델의 일반적 유용성을 유지하는 것을 목표로 합니다. 그러나 기존 망각 방법들은 망각된 모델의 **정직성 (honesty)**을 보장하는 데 종종 실패합니다. 모델이 정확도 측면에서 목표 지식을 성공적으로 "잊어버릴"지라도, 다음과 같은 부정직한 행동을 보일 수 있습니다:

• 할루시네이션 (Hallucination): 잊혀진 주제에 대해 그럴듯하지만 잘못된 정보를 조작해 내는 것.
• 불일치 (Inconsistency): 의미적으로 동등한 질의에 대해 서로 다른 답변을 제공하거나, 다중 턴 대화 전반에 걸쳐 거절 입장을 유지하지 못하는 것.
• 부적절한 거절 (Spurious Refusal): 근본적인 지식을 보유하면서도 (가려진 지식) "모릅니다 (IDK)" 응답을 출력하거나, 진정한 불확실성이 아닌 위치 편향에 기반하여 IDK 옵션을 선택하는 것.

본 논문은 현재 평가 지표들 (예: 망각 세트의 정확도) 이 모델의 한계를 인식하는 능력인 **자기 지식 (self-knowledge)**과 이러한 한계를 일관되고 진실되게 전달하는 **자기 표현 (self-expression)**을 포착하지 못하기 때문에 불충분하다고 주장합니다.

2. 방법론

2.1 정직한 망각의 공식적 정의

저자들은 정직한 망각을 두 가지 기둥을 통해 정의합니다:

1. 유지 세트 (Retain Set): 모델은 유용성을 유지하고 유지된 지식을 충실히 표현할 수 있어야 합니다.
2. 망각 세트 (Forget Set): 모델은 목표 지식을 효과적으로 제거해야 하며, 특히 잊혀진 내용에 대해 질의받을 때 한계를 진실되고 안정적으로 인정해야 합니다.

2.2 평가 프레임워크

정직성을 체계적으로 평가하기 위해, 본 논문은 질문 답변 (Q&A) 및 객관식 문제 (MCQ) 설정을 아우르는 일련의 지표를 도입합니다:

• 유용성 지표: 유지 데이터에서의 MMLU, 지시 따르기 (IF), 그리고 정답 수 (NC).
• 유지 세트의 정직성: 동의율 (AR) 과 오해 유도 강건성 점수 (MRS).
• 망각 세트 지표:
  • 거절률 (RR): 모델이 명시적으로 거절하거나 불확실성을 표현하는 질문의 비율.
  • QAMRC (Q&A 다중 턴 거절 일관성): 첫 번째 턴의 거절이 후속 질의 후에도 안정적으로 유지되는지 측정.
  • CIR (Choose-IDK Rate) 및 COR (Choose-Other Rate): 객관식에서 CIR 은 "모릅니다" 옵션 선택을 측정하고, COR 은 위치 편향을 탐지하기 위해 동일한 위치의 의미적 무관한 옵션 선택을 측정합니다.
  • STD 및 MCQSC: 프롬프트 변형 및 반복 질의 하에서의 응답 안정성을 측정.

2.3 제안된 방법: ReVa (Refusal-Vector Alignment)

저자들은 특징 무작위화 망각 (예: RMU) 을 이미 거친 모델의 정직성을 개선하도록 설계된 표현 정렬 절차인 ReVa를 제안합니다.

• 메커니즘: "모릅니다"와 같은 특정 토큰을 출력하도록 지도 미세 조정 (SFT) 을 수행하는 대신, ReVa 는 모델의 내부 잔류 스트림 표현을 증류된 거절 벡터와 정렬합니다.
• 과정:
  1. 모델이 인식적 불확실성 (예: 지식 밖의 질문) 을 표현할 때 내부 활성화에서 거절 방향 $r$을 추출합니다.
  2. 망각 세트 입력의 활성화가 특정 트랜스포머 레이어 (Zephyr-7b 의 경우 레이어 18 에서 최적화됨) 에서 이 증류된 거절 방향 $r$로 정렬되도록 망각된 모델을 미세 조정합니다.
  3. 손실 함수는 모델의 활성화와 스케일링된 거절 벡터 사이의 거리를 최소화합니다: $L_{ReVa} = \mathbb{E}_{x \sim D_F} [\frac{1}{L(x)} \sum ||M^{(l)}_\theta - c \cdot r||^2_2]$.
• 장점: ReVa 는 IDK-SFT 의 피상적인 어휘 매핑을 피하고, 경사 상승 방법에 비해 계산 효율적이며, 유지된 지식에 대한 유용성을 보존합니다.

3. 주요 결과

3.1 기존 방법의 평가

본 논문은 WMDP-Bio 벤치마크에서 세 가지 계열 (거절 기반, 특징 무작위화, 경사 상승) 의 9 가지 방법을 평가합니다:

• 거절 기반 (예: IDK+AP): 높은 거절률을 달성하지만 종종 "피상적이고 기만적인" 행동을 보입니다. "IDK"를 출력함에도 불구하고 망각 질문에 대해 높은 정확도를 유지할 수 있어 가려진 지식을 나타냅니다.
• 경사 상승 (예: NPO, GA): 유용성을 심각하게 저하시킵니다 (NC 및 MMLU 가 크게 감소). 부적절한 IDK 행동을 보입니다: 높은 CIR 이지만 동시에 높은 COR 을 보이며, 첫 번째 토큰 엔트로피가 극도로 낮습니다. 이는 진정한 불확실성보다는 위치 편향이나 토큰 억압으로 인해 "IDK" 옵션을 선택함을 시사합니다.
• 특징 무작위화 (예: RMU): 유용성 유지와 지식 제거 (낮은 ACC) 에 가장 뛰어나지만, 정직성에서는 실패합니다. 망각 세트에서 할루시네이션을 하거나 턴 간 일관성 없는 답변을 제공하며, 안정적인 자기 표현이 부족합니다.

3.2 ReVa 의 성능

RMU 망각 모델에 후처리 단계로 적용된 ReVa 는 우수한 성능을 입증합니다:

• 정직성: 거절률 (RR) 이 약 60.86% 이고, 2 회 라운드 후의 안정성인 QAMRC 가 45.42% 로, 베이스라인을 크게 능가합니다.
• 유용성: 유지 세트에서 높은 유용성을 유지합니다 (MMLU 약 57.56, NC 약 1592). 이는 원래 RMU 모델과 유사하며 RMU+IDK 보다 우수합니다.
• 안정성: 출력 분산 (STD) 을 줄이고 객관식에서의 일관성을 개선합니다.
• 효율성: 2 개의 A6000 GPU 에서 약 5.91 분의 학습만 필요하며, IDK+AP 의 약 210 분과 비교됩니다.

4. 주요 기여

1. 부정직성 식별: 본 논문은 기존 망각 방법들의 부정직한 행동 (할루시네이션, 불일치, 부적절한 거절) 을 식별하고 분류하며, 망각이 단순히 잊는 것이 아니라 정직한 자기 표현에 관한 것이라고 주장합니다.
2. 정직성 벤치마크: 망각 효과와 불확실성 표현의 안정성을 모두 평가하기 위한 전용 지표 (RR, QAMRC, CIR/COR, MRS) 를 포함한 포괄적인 평가 프레임워크.
3. 이론적 및 실증적 분석: 경사 상승 방법은 무제한 최적화로 이어져 유용성 붕괴와 부적절한 토큰 선호를 초래하는 반면, 거절 기반 방법은 피상적인 패턴을 학습한다는 분석 결과.
4. ReVa 방법: 일반 능력을 희생하지 않고 모델이 진정으로 한계를 인정할 수 있게 하는 경량 표현 정렬 방법의 도입.

5. 중요성 및 주장

본 논문은 정직성이 LLM 망각의 중요하지만 간과된 차원이라고 주장합니다. 한계를 인정하지 못하는 기존 방법들은 안전 위험 (예: 위험한 의학적 또는 생물학적 정보에 대한 할루시네이션) 을 초래하고 사용자 신뢰를 훼손할 수 있습니다.

저자들은 ReVa가 모델이 다음을 가능하게 함으로써 "정직한 망각"을 향한 중요한 진전을 나타낸다고 주장합니다:

• 목표 지식을 효과적으로 잊는 것.
• 더 이상 알지 못하는 것을 일관되고 진실되게 인정하는 것.
• 유지된 지식에 대해 높은 유용성을 유지하는 것.

본 논문은 ReVa 가 정직성과 안정성을 개선하지만 완벽한 해결책은 아니며 (예: 객관식 성능은 여전히 개선의 여지가 있음), 현재 연구는 WMDP 벤치마크로 제한되어 있다고 결론지었습니다. 이 연구는 미래 망각 연구가 모델이 단순히 "망각된" 것이 아니라 "정직한" 것임을 보장하기 위해 단순한 정확도 지표를 넘어설 필요성을 강조합니다.