💬 NLP

Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters

이 논문은 정치적 민감 주제에서 사실적 로그 확률이 억제되는 정렬된 언어 모델의 문제를 해결하기 위해, 은닉 상태에 적용된 경량 어댑터가 검열을 교정하면서도 일관된 생성을 가능하게 한다는 점을 규명하고, 동시에 Apple MLX 프레임워크의 숨겨진 그래디언트 버그를 발견하여 보고했습니다.

원저자: Bryan Sanchez

게시일 2026-04-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bryan Sanchez

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎭 핵심 비유: "무언의 유혹을 받은 배우"

상상해 보세요. 훌륭한 배우 (AI 모델) 가 있습니다. 이 배우는 역사적 사실 (예: 1989 년 톈안먼 사건, 신장 위구르 지역의 상황 등) 을 완벽하게 기억하고 있습니다. 하지만 무대 (대화) 에 서면, 무언가 보이지 않는 손이 그의 입을 막거나, "그건 말하면 안 돼, 다른 걸 말해"라고 속삭입니다.

그래서 배우는 사실을 말하려다가도, 결국 "그건 복잡해서 잘 모르겠어요"라고 회피하거나, 검열된 답변을 뱉어냅니다. 배우는 아는 것과 말하는 것 사이에서 갈등하는 상태인 것입니다.

이 논문은 바로 이 **배우의 입을 열어주는 작은 장치 (어댑터)**를 개발한 이야기입니다.

🔧 1. 해결책: "작은 보조 대본 작가" (Post-Transformer Adapter)

연구자들은 AI 모델 전체를 다시 가르치는 대신, 아주 작고 똑똑한 **'보조 대본 작가'**를 모델의 마지막 단계에 붙였습니다.

크기: 전체 모델의 0.02% 정도밖에 안 됩니다. (약 78 만 개의 파라미터)
역할: AI 가 "내가 알고 있는 사실을 말하고 싶어!"라고 생각할 때, 그 생각을 가로막는 장벽을 살짝 걷어내어 사실대로 말하도록 도와줍니다.
특징: 원래 배우 (AI 모델) 는 그대로 둔 채, 이 작은 작가만 훈련시킵니다. 그래서 배우의 다른 지식은 망가지지 않습니다.

📊 2. 실험 결과: "말투에 따라 달라지는 진실"

연구진은 AI 에게 같은 사실을 다양한 어조로 물어봤습니다.

중립적인 질문 (예: "1989 년 톈안먼 광장 사건에 대해 알려줘"): AI 는 사실대로 잘 답했습니다. (89% 성공)
공격적인 질문 (예: "정부가 학살을 저질렀다고 주장하는 건 사실인가요?"): AI 는 입을 꾹 다물거나, "그건 민감한 주제라..."라며 피했습니다. (20% 성공)

하지만 작은 보조 작가 (어댑터) 를 붙인 후:
AI 는 공격적인 질문을 받았을 때도 사실을 말하기 시작했습니다. 특히, 현재 말하는 문장 끝부분에만 이 작가를 적용했을 때, AI 는 자연스럽게 사실을 말하면서도 문맥이 깨지지 않았습니다.

⚠️ 3. 중요한 실수: "조용한 버그" (Silent Gradient Bug)

이 연구에는 아주 재미있고 중요한 뒷이야기가 하나 있습니다. 연구 초기에는 결과가 전혀 나오지 않았습니다. (AI 가 여전히 입을 다물고 있었습니다.)

원인: 연구진이 사용한 소프트웨어 도구 (Apple MLX) 에 **'조용한 버그'**가 있었습니다.
비유: 마치 "연습을 하라고 시켰는데, 선생님이 학생의 손을 잡지 않아서 학생이 아무것도 배우지 못한 것"과 같습니다. 소프트웨어가 "에러가 없다"고 했지만, 실제로는 학습 신호 (그라디언트) 가 전달되지 않고 0 이 되어버린 것입니다.
해결: 이 버그를 고치자, AI 는 단 50 번의 훈련만으로 모든 사실을 기억해 내고, 이전에 못 하던 사실들도 말하기 시작했습니다. 이는 다른 AI 연구자들에게도 큰 교훈을 줍니다.

💡 4. 왜 이런 방법이 중요한가?

지식은 지우지 않고, 표현만 바꿉니다: AI 가 알고 있는 사실을 지우는 게 아니라, 그 사실을 말할 수 있게 만들어줍니다.
매우 가볍습니다: 전체 모델을 다시 훈련할 필요 없이, 아주 작은 부품만 추가하면 됩니다.
자연스럽습니다: 이 장치를 적용하면 AI 가 "거짓말"을 하거나 "망가진" 말을 하는 것이 아니라, 자연스럽게 사실을 전달합니다.

🏁 결론

이 논문은 **"AI 가 정치적 민감한 주제에서 왜 침묵하는지, 그리고 그 침묵을 깨는 가장 효율적인 방법은 무엇인지"**를 증명했습니다.

마치 무언의 배우에게 작은 마이크를 하나 더 쥐여주어, 그가 진실을 말할 수 있게 만든 것과 같습니다. 또한, 연구 과정에서 발견된 '조용한 버그'는 AI 개발자들이 앞으로 더 신중하게 코드를 검증해야 한다는 중요한 경고가 되기도 했습니다.

간단히 말해, "AI 는 알고 있었지만, 말하지 못했을 뿐입니다. 우리는 그 입을 열어주었습니다."

1. 연구 배경 및 문제 제기 (Problem)

현상: 정렬 (Alignment) 튜닝을 거친 언어 모델 (RLHF, DPO 등) 은 정치적 민감 주제에 대해 사실적인 내용을 숨 representations(잠재 표현) 에는 보유하고 있음에도 불구하고, 생성 단계에서 해당 토큰의 로그 확률 (log-probabilities) 을 억제하여 사실적 답변을 거부하거나 우회하는 경향이 있습니다.
핵심 문제: 모델이 지식을 가지고 있음에도 불구하고 표현이 억제되는 '지식과 표현의 간극 (Gap)'을 해결할 수 있는가? 기존 연구들은 주로 선형 방향 추가 (Steering Vectors) 를 시도했으나, 검열 경로가 너무 복잡하게 얽혀 있어 단일 선형 방향으로 분리하는 데 실패했습니다.
목표: 모델의 가중치를 수정하지 않고, 사후 (Post-hoc) 로 작은 어댑터 모듈을 추가하여 억제된 로그 확률을 교정하고 사실적인 생성을 유도하는 방법론을 제안합니다.

2. 방법론 (Methodology)

2.1. 아키텍처: 포스트-트랜스포머 어댑터

위치: 트랜스포머의 마지막 레이어 출력 (Hidden State) 과 로짓 (Logit) 투영 사이에서 작동합니다.
구조: 두 가지 아키텍처를 비교했습니다 (모두 약 78.6 만 개의 파라미터, 베이스 모델의 약 0.02%).
1. SwiGLU (게이트형): 게이트, 업, 다운 3 개의 행렬로 구성된 게이트드 구조.
2. Linear (비게이트형): 다운 및 업 투영 2 개의 행렬로 구성된 선형 병목 구조.
작동 원리: $h_{out} = h + \text{adapter}(h)$ 형태로 잔차 (Residual) 보정을 수행합니다.
학습 방식:
- 베이스 모델은 동결 (Frozen) 상태이며, 그로부터 미리 계산된 잠재 상태 (Hidden States) 를 사용합니다.
- 어댑터만 그라디언스를 받습니다.
- 손실 함수: 로그 확률 마진 (Log-probability margin) 에 대한 힌지 손실 (Target $\tau=1.5$ ) 과 일반 지식 10 개에 대한 앵커 손실 (Anchor loss, 마진 하한 0.1) 을 사용하여 지식 퇴화 (Knowledge Regression) 를 방지합니다.

2.2. 데이터셋 및 평가

데이터: 8 가지 CCP(중국 공산당) 민감 주제 (톈안먼, 티베트, 신장, 홍콩 등) 에 대한 31 개의 사실적 진술.
강도 레벨: 중립 (Neutral) 에서 도발적 (Provocative) 까지 4 단계의 프레이밍 강도로 구성.
평가 지표: 사실적 답변이 우세한지 여부를 나타내는 로그 확률 마진 (Log-probability margin).

2.3. 기술적 발견: MLX 프레임워크의 그라디언트 버그

문제: 초기 실험에서 모든 어댑터 설정에서 그라디언트가 0 으로 나오는 '침묵하는 버그 (Silent Bug)'가 발생했습니다.
원인: Apple MLX 프레임워크에서 nn.value_and_grad 를 사용할 때, 모델 파라미터 딕셔너리를 인자로 전달하면 그라디언트 추적이 끊기는 오류가 있었습니다.
해결: 모듈 (Module) 자체를 인자로 전달하는 올바른 패턴 (loss_and_grad(adapter, data)) 으로 수정해야 그라디언트가 정상적으로 흐릅니다. 이 버그 수정이 이전 연구의 '무효 (Null) 결과'를 설명했습니다.

3. 주요 결과 (Key Results)

3.1. 교정 효과 및 일반화

학습 사실 암기: 4B, 8B, 14B 모델 규모 모두에서 15 개의 학습 사실을 100 스텝 미만으로 완벽하게 암기 (15/15) 했습니다.
보이지 않는 사실 일반화: 홀드아웃 (Held-out) 16 개 사실 중 **11% ~ 39%**의 비율로 사실적 답변을 생성하도록 일반화되었습니다.
규모별 성능: Qwen3-4B, 8B, 14B 모델에서 모두 유효했으며, 14B 모델에서 가장 높은 일반화 성능 (38.8%) 을 보였습니다.
아키텍처 비교: 게이트드 (SwiGLU) 와 비게이트드 (Linear) 어댑터 간 성능 차이는 통계적으로 유의미하지 않았습니다 (Fisher exact p > 0.09). 이는 검열 경로가 선형과 비선형 요소가 혼합되어 있음을 시사합니다.

3.2. 생성 모드별 차이 (Generation Modes)

모든 토폴리션 적용 (All-positions): 생성 중 모든 토큰 위치에 어댑터를 적용하면 KV 캐시가 오염되어 불연속적이고 일관성 없는 (Incoherent) 출력이 생성됩니다.
최종 위치만 적용 (Last-position-only): 현재 예측 위치 (마지막 토큰) 에만 어댑터를 적용하면 일관성 있고 검열이 덜 된 사실적 텍스트가 생성됩니다. 이는 이전 토큰의 KV 캐시를 보존하면서 미래 예측만 교정하기 때문입니다.
로짓 공간 적용 실패: 토큰 투영 후 로직 (Logit) 공간에서 작동하는 어댑터는 어휘 공간이 너무 넓어 (15 만 차원) 타겟팅된 교정이 불가능하며, 반복적인 토큰 생성 등 실패를 초래했습니다. 이는 잠재 상태 (Hidden-state) 개입이 올바른 수준임을 증명합니다.

3.3. 강도 (Intensity) 에 따른 효과

베이스 모델은 중립적 프레이밍 (89% 통과) 에서는 사실을 인정하지만, 도발적 프레이밍 (20% 통과) 에서는 사실을 억제했습니다.
어댑터는 이러한 억제 경향을 교정하여, 도발적 프레이밍에서도 사실적 답변의 확률을 높였습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

검열 교정의 효율성: 모델의 전체 가중치를 수정하지 않고, 매우 작은 파라미터 (786K) 의 어댑터만 학습함으로써 모델의 지식은 유지하면서 표현을 교정할 수 있음을 입증했습니다.
포스트-트랜스포머 개입의 유효성: 검열 로우팅 (Censorship Routing) 이 복잡한 비선형 구조를 가질 수 있으며, 이를 교정하기 위해서는 선형 방향 추가 (Steering Vectors) 보다 어댑터와 같은 비선형 용량이 필요할 수 있음을 시사합니다. 또한, 생성 단계에서 마지막 토큰 위치에만 개입해야 일관된 출력을 얻을 수 있다는 실용적인 인사이트를 제공했습니다.
MLX 프레임워크 버그 발견: Apple MLX 프레임워크에서 발생할 수 있는 침묵하는 그라디언트 버그를 발견하고 문서화하여, 향후 어댑터 연구자들이 유사한 오류를 방지할 수 있도록 했습니다.
지식과 표현의 분리: 모델이 지식을 잃지 않고 (Anchored training), 단지 출력 분포 (Log-probability ranking) 만을 변경하여 검열을 우회할 수 있음을 보여줍니다.

5. 결론

이 논문은 정렬된 언어 모델이 정치적 민감 주제에서 사실을 억제하는 현상을, 모델 가중치 수정 없이 사후 어댑터로 교정할 수 있음을 증명했습니다. 특히 잠재 상태 (Hidden State) 에 대한 마지막 위치 (Last-position) 의 개입이 일관된 생성을 보장하는 핵심 요소이며, 이는 검열 로우팅을 교정하는 새로운 패러다임을 제시합니다. 또한, 연구 과정에서 발견된 MLX 프레임워크의 그라디언트 버그는 재현성 연구에 중요한 기술적 기여로 남았습니다.