기술 요약: TELLME – 대규모 언어 모델의 투명성 향상을 통한 모니터링 용이성 제고

1. 문제 제기

대규모 언어 모델 (LLM) 은 점점 더 뛰어난 능력을 갖추어 가고 있지만, 그 내부 사고 및 의사결정 메커니즘은 여전히 불투명합니다. 현재의 안전 전략은 입력과 출력의 위험을 탐지하기 위해 외부 모니터링에 크게 의존하고 있습니다. 그러나 기존 접근 방식은 다음과 같은 중대한 한계를 안고 있습니다:

• 생각의 사슬 (Chain-of-Thought, CoT) 프롬프팅: 추론을 외부화하는 데 사용되지만, CoT 는 종종 모델의 실제 내부 사고 과정을 정확하게 반영하지 못하며, 충실하지 않거나 기만적일 수 있습니다.
• 외부 해석 가능성 모듈: 희소 오토인코더 (SAE) 와 트랜스코더와 같은 기법은 내부 은닉 표현을 해석 가능한 특징으로 디코딩하려고 시도합니다. 그러나 이러한 기법들은 변경되지 않은 LLM 표현에 적용되는 외부 모듈에 의존합니다. 만약 LLM 의 내부 특징이 본질적으로 얽혀 있다면, 이러한 외부 도구들은 이를 효과적으로 디코딩하는 데 어려움을 겪으며, 결과적으로 모니터링은 수동적이 되고 모델의 원래 표현 공간에 의해 제약받게 됩니다.

핵심 문제는 외부의 사후 디코딩 도구에만 의존하지 않고 모델 자체가 본질적으로 더 쉽게 모니터링될 수 있도록 하는, LLM 의 내부 사고 과정으로의 직접적이고 능동적인 연결 고리가 부재하다는 점입니다.

2. 방법론: TELLME

저자들은 외부 모듈 없이 LLM 의 표현 공간을 재구성하여 모델 내부에서 직접 투명성과 모니터링 가능성을 향상시키도록 설계된 TELLME(외부 모듈 없이 LLM 의 투명성 향상) 방법을 제안합니다.

핵심 메커니즘

TELLME 는 저랭크 적응 (LoRA) 을 사용하여 LLM 을 미세 조정 (fine-tuning) 하여 서로 다른 행동의 표현을 분리하는 결합 목적 함수를 최적화합니다:

1. 분리 손실 ($L_d$): InfoNCE 대비 학습에 기반한 이 손실은 유사한 행동에 대한 표현의 유사성을 최대화하고 (양성 쌍), 서로 다른 행동에 대한 유사성을 최소화합니다 (음성 쌍). 이를 통해 유사한 행동 (예: 특정 편향) 은 클러스터링하고, 서로 다른 행동 (예: "폭력" 대 "기만") 은 표현 공간에서 서로 멀어지게 합니다.
2. 유지 손실 ($L_r$): 일반 능력의 저하를 방지하기 위해 TELLME 는 두 가지 구성 요소를 가진 유지 손실을 사용합니다:
   • 일반 능력과 관련된 표현에 대한 $\ell_2$ 노름 제약 (유지 집합 사용) 을 통해 모델의 내부 상태가 안정적으로 유지되도록 합니다.
   • 출력 확률에 대한 KL 발산 패널티 (작업에 따라 선택적) 를 통해 원래 모델의 출력 분포와 정렬을 유지합니다.

최종 목적 함수는 $L = L_d + \lambda L_r$입니다. 중요한 점은 TELLME 가 LLM 의 가중치를 직접 수정하여, 분리된 표현이 외부 모듈에 의해 처리되는 것이 아니라 추론 중 후속 Transformer 레이어에서 활용되도록 한다는 것입니다.

학습 전략

• 데이터: 이 방법은 특정 행동의 샘플 (예: 안전 대 위험, 다양한 위험 범주) 을 포함하는 "분리 집합"과 일반 능력 유지를 위한 "유지 집합"(예: UltraChat) 을 활용합니다.
• 구현: 모델은 입력/출력 시퀀스의 마지막 토큰에 대해 미세 조정됩니다. 분리 대상 레이어는 일반적으로 은닉 레이어 깊이의 80% 지점으로 설정됩니다.

3. 주요 기여

• 능동적 투명성: 수동적인 외부 모니터링과 달리, TELLME 는 LLM 을 능동적으로 수정하여 자체 표현을 더 투명하고 분리되게 만들어 직접적인 모니터링을 용이하게 합니다.
• 자가 해독 (Self-Detoxification): 이 논문은 명시적인 선호 신호나 보상 모델 없이 표현 공간에서 안전하고 해로운 행동을 분리하는 것만으로도 안전성 성능이 향상됨을 보여줍니다. 모델은 향상된 투명성의 부산물로서 "자가 해독"됩니다.
• 확장성과 견고성: TELLME 는 다양한 모델 계열 (Llama, Mistral, Qwen), 아키텍처 (Dense 및 MoE), 파라미터 규모 (7B 에서 235B), 그리고 모달리티 (텍스트 및 멀티모달) 에서 효과적임이 입증되었습니다.
• 이론적 정렬: 저자들은 최적 수송 (Optimal Transport) 이론의 관점에서 이 방법을 분석하여, 표현 분리가 행동 클러스터의 $k$-분산을 줄이고 클래스 간의 마진을 증가시킴으로써 행동 분류의 일반화 상한을 낮춘다고 주장합니다.

4. 실험 결과

이 논문은 TELLME 를 세 가지 주요 시나리오에서 평가했습니다:

A. 모니터링 가능성 향상

TELLME 는 다중 위험 탐지, 안전 또는 위험 분류, 그리고 불일치 탐지라는 세 가지 모니터링 작업에서 테스트되었습니다.

• 성능: TELLME 는 원래 모델 및 SAE/트랜스코더 베이스라인보다 일관된 개선을 달성했습니다. 예를 들어, 선형 프로브 (Linear Probe) 지표에서 TELLME 는 원래 모델 대비 평균 5.6%, 가장 강력한 SAE/트랜스코더 베이스라인 대비 2.5% 의 모니터링 정확도 향상을 보였습니다.
• 효율성: TELLME 는 SAE 베이스라인 (10.9 억) 에 비해 훨씬 적은 학습 가능 파라미터 (4,100 만, LoRA 를 통해) 를 사용하면서도 모니터링 가능성 측면에서 더 우수한 성과를 냅니다.

B. 자가 해독 (안전성 성능)

해독 작업에서 TELLME 는 무엇이 "더 나은지" 명시적으로 알려지지 않은 상태에서 안전하고 해로운 행동을 분리했습니다.

• 결과: TELLME 는 원래 모델 대비 안전성 벤치마크 (BeaverTails 및 SaladBench) 에서 평균 8.1 점의 절대적 개선을 달성했습니다.
• 비교: TELLME 는 종종 능력 저하나 과도한 안전성 문제를 겪었던 지도 미세 조정 (SFT) 베이스라인보다 우수한 성과를 보였습니다. TELLME 는 일반 능력 (MMLU, GSM8k 로 측정) 을 유지하면서 안전성을 크게 향상시켰습니다.

C. 견고성과 확장성

• 모달리티: TELLME 는 텍스트 전용 및 멀티모달 (이미지 - 텍스트) 모델 (Qwen3-VL 시리즈) 모두에서 안전성 성능을 향상시켰습니다.
• 규모: 7B 에서 235B 에 이르는 파라미터 규모 전반에 걸쳐 개선이 관찰되었으며, 모델 능력이 확장됨에 따라 안전성 향상은 견고하게 유지되거나 증가했습니다.
• 일반 작업: CoLA 및 SiQA 와 같은 일반 작업에서 TELLME 는 분리 지표와 동시에 향상시키면서 작업 성능을 개선했습니다.

D. 분리 품질

정량적 지표 (코딩률, eRank, $\ell_2$ 거리, 각도, 하우스도르프 거리) 와 t-SNE 시각화는 TELLME 가 클래스 내 표현을 효과적으로 압축하고 클래스 간 표현을 분리함을 확인시켜 주었습니다.

5. 의의 및 주장

이 논문은 TELLME 가 수동적인 외부 모니터링에서 능동적인 내부 투명성으로의 전환을 통해 AI 안전에 대한 새로운 관점을 제공한다고 주장합니다.

• 본질적 안전성: 이 방법은 모델 표현 공간의 구조적 투명성을 향상시키는 것이 명시적인 안전 훈련 신호 없이도 본질적으로 더 나은 안전성 성능으로 이어진다고 시사합니다.
• 확장 가능한 감독: LLM 자체를 더 쉽게 모니터링 가능하게 함으로써, TELLME 는 향후 고도화된 모델에 대한 확장 가능한 감독을 위한 경로를 제시하며, 외부 모니터링이 진보하는 AI 능력에 발맞추기 어려워질 수 있다는 우려를 해소합니다.
• 이론적 근거: 최적 수송 이론과의 정렬은 표현 분리가 일반화와 모니터링 가능성을 향상시키는 이유에 대한 수학적 근거를 제공합니다.

저자들은 TELLME 가 모델의 자체 내부 투명성 향상을 통해 더 신뢰할 수 있는 모니터링과 안전한 행동을 가능하게 함으로써 LLM 의 책임 있는 활용에 기여한다고 결론지었습니다.