기술 요약: LLM 고스트버스터: 적응적 포기를 통한 외과적 환각 억제

1. 문제 정의

코드 생성에 배포된 대규모 언어 모델 (LLM) 은 종종 **환각 (hallucinations)**을 생성합니다. 이는 언어적으로 유창하지만 사실적으로 잘못된 출력입니다. 소프트웨어 개발 맥락에서 이는 패키지 환각으로 나타나며, 모델이 존재하지 않는 소프트웨어 라이브러리 이름 (예: 가짜 파이썬 패키지) 을 발명하는 현상입니다.

이러한 실패 모드는 **슬롭스쿼팅 (slopsquatting)**으로 알려진 치명적인 공급망 취약점을 생성합니다. 적대자는 이러한 환각된 패키지 이름을 악성 페이로드와 함께 PyPI 와 같은 공개 레지스트리에 능동적으로 등록할 수 있습니다. 이후 개발자나 자율 에이전트가 LLM 의 추천에 따라 이러한 패키지를 설치하면 악성 코드가 실행됩니다.

기존의 완화 전략은 배포 후 정교화에는 충분하지 않습니다.

• 전체 재학습은 계산 비용이 너무 많이 들어 실행 불가능합니다.
• **검색 증강 생성 (RAG)**과 추론 시간 검증은 모델의 근본적인 학습된 표현을 변경하지 않으면서 지연 시간과 복잡성을 추가합니다.
• 표준 기계적 포기 (Machine Unlearning) (예: 경사 상승법, NPO) 는 일반적으로 사전 지정된 유한한 '포기 세트 (forget set)'를 필요로 합니다. 그러나 환각을 유발하는 프롬프트의 공간은 개방적이며, 모델이 생성할 구체적인 환각은 유발될 때까지 알 수 없습니다.
• **부분 모델 붕괴 (PMC)**는 타겟팅된 콘텐츠 제거를 위한 메커니즘을 제공하지만, 잊어야 할 고정된 알려진 데이터셋을 가정하는데, 이는 환각의 동적이고 무한한 특성에 적용되지 않습니다.

2. 방법론: 적응적 포기 (Adaptive Unlearning, AU)

저자들은 일반 모델 유틸리티를 유지하면서 외과적으로 환각을 억제하도록 설계된 폐루프형 배포 후 프레임워크인 **적응적 포기 (Adaptive Unlearning, AU)**를 제안합니다. AU 는 모델 자체에서 생성된 합성 데이터에서만 작동하며, 인간 주석이 필요하지 않습니다.

핵심 구성 요소

1. 적응적 프롬프트 변이 루프:

   • 정적 포기 세트에 의존하는 대신, AU 는 지속적으로 새로운 환각 유발 컨텍스트를 발견합니다.
   • 시스템은 현재 모델에서 샘플을 생성합니다. 프롬프트가 환각을 유발하지 못하거나 정해진 에포크 수만큼 학습된 경우, 이는 '소진된 (exhausted)' 것으로 간주됩니다.
   • 그런 다음 프롬프트는 변이되어 (의미적으로 다양화되어) 새로운 환각 패턴을 유발하도록 하여, 모델이 특정 프롬프트 - 출력 쌍을 암기하는 대신 패턴을 억제하도록 학습하게 합니다.

2. 트리-마스크 토큰 라우팅 (Tri-Mask Token Routing):

   • 새로운 3 값 그라디언트 라우팅 메커니즘은 모든 학습 샘플에 대해 토큰 스트림을 세 개의 불연속적인 집합으로 분할합니다.
     • 마스크 = 0 (정규화): 컨텍스트 토큰 (프롬프트, 코드 구조, 구두점). 이러한 토큰은 모델의 분포를 고정하고 불일치하는 출력을 방지하기 위해 스케일링된 교차 엔트로피 (CE) 손실을 받습니다.
     • 마스크 = 1 (강화): 유효 토큰 (예: 레지스트리 오라클로 확인된 올바른 패키지 이름). 이러한 토큰은 올바른 생성을 강화하기 위해 표준 CE 손실을 받습니다.
     • 마스크 = 2 (억제): 환각 토큰 (예: 존재하지 않는 패키지 이름). 이러한 토큰은 확률 질량을 이러한 토큰에서 밀어내기 위해 부정적 선호 최적화 (NPO) 손실을 받습니다.
   • 이 트리-마싱은 강화와 억제 그라디언트가 불연속적인 토큰 세트에 작용하도록 하여, 동일한 토큰에 상반된 목표를 적용할 때 종종 발생하는 치명적인 붕괴를 방지합니다.

3. 하이브리드 목적 함수:

   • 총 손실은 세 가지 항을 결합합니다.
     $$L_{AU} = \lambda_{retain} L_{CE}^{T_{retain}} + \lambda_{forget} L_{NPO}^{T_{forget}} + \lambda_{reg} L_{CE}^{T_{reg}}$$
   • 이를 통해 모델은 동일한 시퀀스 내에서 생성하지 말아야 할 것 (환각) 과 생성해야 할 것 (유효한 대안) 을 동시에 학습할 수 있습니다.

4. 중첩 학습 루프:

   • 포기 과정을 안정화하기 위해 AU 는 2-타임스케일 학습 구조를 사용합니다.
     • 외부 에포크: 샘플을 재생성하고 환각을 감지하여 트리-마스크를 업데이트합니다.
     • 내부 에포크: 외부 에포크에서 캐시된 샘플을 기반으로 여러 단계 동안 학습한 후 다시 샘플링합니다. 이는 모델이 끊임없이 변화하는 샘플을 '추적'하는 대신 억제 신호를 통합할 수 있게 합니다.

3. 주요 기여

1. 적응적 포기 프레임워크: 사전 지정된 포기 세트 없이 미지의 프롬프트에 대한 일반화를 가능하게 하는 적응적 환각 발견 루프와 하이브리드 토큰 수준 목적 함수를 결합한 최초의 포기 방법입니다.
2. 트리-마스크 토큰 라우팅: 유효, 환각, 컨텍스트 카테고리로 토큰을 분할하여 단일 시퀀스 내에서 외과적 편집을 가능하게 하는 메커니즘으로, CE 와 NPO 목표가 충돌 없이 작동하도록 합니다.
3. 적응적 프롬프트 변이: 유한한 세트에서 개방형 프롬프트 공간으로 포기를 확장하는 전략으로, 모델이 특정 프롬프트에 과적합되는 대신 환각 패턴을 억제하도록 보장합니다.
4. 안정성을 위한 중첩 학습: 이전 붕괴 기반 포기 방법의 불안정성을 해결하는 캐시 갱신 방식으로, 안정적인 환각 감소에 중요합니다.
5. 체계적인 공동 평가: 환각률, 분포적 편차, 코딩 유틸리티를 동시에 평가하는 경험적 비교를 통해 효과적인 완화는 세 가지 축의 균형을 필요로 함을 입증했습니다.

4. 실험 결과

저자들은 패키지 환각을 유발하도록 설계된 코드 생성 프롬프트 데이터셋을 사용하여 DeepSeek-Coder 모델 (7B 및 16B 파라미터) 에 AU 를 평가했습니다.

• 환각 감소:

  • DeepSeek-7B 모델에서 AU 는 총 패키지 환각률을 **21.2%(베이스)**에서 **2.56%**로 낮추어 88% 감소를 달성했습니다.
  • DeepSeek-16B 모델에서는 **27.75%**에서 **6.13%**로 감소하여 78% 감소를 보였습니다.
  • 이는 경사 상승법 (GA), 부정적 선호 최적화 (NPO), 부분 모델 붕괴 (PMC) 와 같은 베이스라인을 크게 능가했습니다.

• 유틸리티 보존:

  • AU 는 표준 코딩 벤치마크 (HumanEval, MBPP 및 EvalPlus 변형) 에서 성능을 유지하거나 약간 향상시켰습니다.
  • DeepSeek-7B 의 경우 평균 코딩 벤치마크 점수가 68.57(베이스 모델의 66.98 대비) 로 향상되었습니다.
  • DeepSeek-16B 의 경우 점수는 73.17로 안정적으로 유지되었습니다 (베이스의 77.4 대비 약간의 하락은 MoE 학습 역동성에 기인하지만 다른 포기 베이스라인보다 여전히 우수함).

• 분포적 편차 (KL-발산):

  • 분석 결과, AU 에 의해 유도된 행동 변화는 패키지 생성 분포에 매우 집중되어 있었으며 (패키지 쿼리의 경우 KL 발산 약 1.4 nat), 일반 코드 생성 (KL 발산 약 0.08 nat) 및 지시 따르기에서는 최소였습니다.
  • 이는 모델의 능력에 광범위한 부수적 피해를 주지 않는 외과적 포기 특성을 확인시켜 줍니다.

• 삭제 연구 (Ablation Studies):

  • 손실 구성: CE 만 (강화) 또는 NPO 만 (억제) 사용하는 것은 충분하지 않았습니다. 둘 다 환각률이 12% 이상으로 나타났습니다. 하이브리드 접근 방식이 필수적이었습니다.
  • 내부 에포크: 내부 에포크 없이 학습하는 (단일 단계 재샘플링) 것은 환각을 효과적으로 감소시키지 못했습니다. 안정적인 통합을 위해서는 최소 약 10 개의 내부 에포크가 필요했습니다.
  • 프롬프트 변이: 적응적 변이는 일반화에 결정적이었습니다. 변이 없이 환각률은 높게 유지되었습니다 (~10.7%); 6 번의 변이를 적용하면 ~3.9% 로 감소했습니다.

5. 중요성과 주장

이 논문은 적응적 포기가 배포된 LLM 의 환각을 릴리스 주기 사이에 해결하기 위해 벤더들에게 원칙적이고 실용적인 경로를 제공한다고 주장합니다.

• 보안 영향: 패키지 환각률을 80% 이상 감소시킴으로써, AU 는 치명적인 공급망 취약점인 슬롭스쿼팅 공격의 공격 면적을 직접적으로 축소합니다.
• 운영 가능성: 전체 재학습과 달리 AU 는 합성 자기 생성 데이터에서 작동하며 인간 주석이 필요 없고, 외부 지식 베이스나 추론 시간 검증 오버헤드에 의존하지 않습니다.
• 일반화 가능성: 실험은 파이썬 패키지 환각에 초점을 맞추었지만, 저자들은 이 프레임워크가 생태계 중립적이며 결정론적 오라클 (예: API 엔드포인트, 인용, 역사적 주장) 이 있는 모든 도메인에 적용 가능하다고 주장합니다.
• 한계: 저자들은 현재 오라클이 코드 내 의미적 정확성 대신 문자열 수준의 유효성 (레지스트리 존재 여부) 을 검증한다고 겸손하게 지적합니다. 또한 16B 를 넘어선 더 큰 규모의 전체 파라미터 파인튜닝은 현재 연구 범위를 넘는 자원을 필요로 하며, 범용 (비코드) LLM 으로의 일반화는 여전히 열린 확장 과제임을 인정합니다.

요약하자면, 이 논문은 이전 포기 방법들이 환각의 개방적 특성으로 인해 실패했던 간극을 해결하며, 특정 원치 않는 행동을 억제하고 일반 모델 유틸리티를 보존하는 사이의 균형을 성공적으로 탐색하는 방법으로서 AU 를 제시합니다.