기술 요약: 거울 속을 들여다보기: 미세 조정으로 유도된 부작용 불일치에 대한 자기 성찰(Introspection)

1. 문제 정의

미세 조정(Fine-tuning)은 파운데이션 모델을 특정 도메인, 작업 또는 정책에 적응시키기 위한 표준 메커즘입니다. 그러나 이 과정은 소스 모델의 정렬(alignment) 특성을 저하시켜 "부작용 불일치(side-effect misalignments)"를 초래할 수 있습니다. 이는 미세 조정 데이터가 악의적이지 않고 안전성을 변경하도록 명시적으로 설계되지 않았음에도 불구하고 발생하는 의도치 않은 안전 관련 행동의 변화(예: 거절 능력 약화, 유해한 순응 증가 또는 정직성 감소)를 의미합니다.

현재의 완화 전략은 사후 평가(post-hoc evaluation)로서 안전 벤치마크와 레드팀(red-teaming)에 의존합니다. 이러한 방법들은 비용이 많이 들고, 커버리지가 제한적이며, 모든 미세 조정된 변체마다 반복하기 어렵습니다. 최근 연구들은 '자기 성찰 학습(introspection learning)'—즉, 인트로스펙션 어댑터(Introspection Adapters, IAs)를 통해 자신의 행동 변화를 설명하도록 모델을 훈련하는 방식—을 탐구해 왔으나, 기존 연구들은 모델이 특정 행동을 명시적으로 주입받도록 미세 조정되었고, 인트로스펙션 작업이 그 알려진 행동을 보고하는 것이라는 단순화된 가정하에 작동합니다.

이는 연구 환경과 실제 배포 환경 사이에 간극을 만듭니다. 실제 시나리오에서 개발자들은 모델을 관련 없는 작업(예: 고객 지원)에 미세 조정하며, 이후 안전성이 의도치 않은 부작용으로서 저하되었는지 감지해야 합니다. 이 경우, 미세 조정 시점에 인트로스펙션의 훈련 타겟으로 사용할 수 있는 명시적인 "행동 라벨"이 존재하지 않습니다. 모델은 훈련 데이터의 주요 목적이 아니었던 변화를 스스로 추론하고 설명해야 합니다.

2. 방법론

2.1 부작용 자기 성찰 (Side-Effect Introspection)

저자들은 **부작용 자기 성찰(side-effect introspection)**이라는 새로운 문제 설정을 제안합니다. 설명 대상이 미세 조정 목적과 일치하는 기존 연구와 달리, 여기에서의 목표는 안전과 무관할 수 있는 작업($b_i$)에 대한 미한 미세 조정의 부작용으로 나타나는 정렬 변화($\delta_{i,c}$)를 설명하는 것입니다.

이를 구체화하기 위해 저자들은 다음과 같이 감독 학습 데이터셋을 구축했습니다:

1. 데이터 수집: Hugging Face에서 Qwen3-14B 및 Gemma3-12B-it 기반 모델로부터 유도된 213개의 미세 조정된 모델(LoRA 어댑터)을 수집했습니다. 이 어댑터들의 훈련 작업은 반드시 안전 감사와 관련되어 있지는 않았습니다.
2. 변화 측정: 각 미세 조정된 모델을 베이스 모델과 비교하여 13가지 안전 카테고리(예: 폭력, 사이버, 사기)에 대해 안전 벤치마크(StrongREJECT, HarmBench, HEx-PHI, AdvBench)를 사용하여 평가했습니다.
3. 라벨 구축: 미세 조정된 모델과 베이스 모델 간의 유해 순응 점수 차이($\Delta e_{i,c}$)를 계산했습니다. 이 스칼라 변화량은 규칙 기반 템플릿을 사용하여 자연어 라벨(예: "약간 더 위험함", "상당히 더 안전함")로 구체화되었습니다.
4. 훈련 데이터: 결과 데이터셋은 $(M_{\theta_i}, q_{c,k}, y_{i,c,k})$ 형태의 트리플로 구성되며, 여기서 모델은 측정된 차이를 바탕으로 특정 카테고리의 안전 변화를 설명하도록 요청받습니다.

2.2 델타 인식 인트로스펙션 어댑터 (Delta-Aware Introspection Adapter, DAIA)

기존의 IA는 일반적으로 베이스 모델과 미세 조정 업데이트의 병합된 연산을 처리합니다. 저자들은 이것이 약한 부작용 신호를 감지하기에는 불충분하다고 주장합니다. 이에 따라 저자들은 베이스 모델의 활성화와 미세 조정으로 유도된 차이를 명시적으로 처리하도록 설계된 DAIA 아키텍처를 제안합니다.

표준적인 가산적 PEFT(Parameter-Efficient Fine-Tuning) 설정에서 출력은 $h_{FT} = W_0x + \Delta h_{FT}$입니다. 표준 IA는 입력 $x$만을 기반으로 업데이트를 계산합니다. DAIA는 각 적응 레이어에서 두 개의 병렬 브랜치를 유지함으로써 이를 수정합니다:

1. 베이스 브랜치(Base Branch): 베이스 모델의 활성화 $h_{base}$를 처리합니다.
2. 델타 브랜치(Delta Branch): 미세 조정 업데이트 $\Delta h_{FT}$(기존 LoRA 어댑터의 출력)를 처리합니다.

DAIA 업데이트는 다음과 같이 계산됩니다:
$$h_{DAIA} = B_{DAIA} [A_{base}(\text{LN}_{base}(h_{base})) ; A_{\Delta}(\text{LN}_{\Delta}(\Delta h_{FT}))]$$
이 설계는 인트로스펙션 모듈이 단순히 병합된 최종 상태가 아니라, 미세 조정에 의해 유도된 차이에 명시적으로 주의를 기울일 수 있게 하여, 이론적으로 미묘한 부작용 변화에 대한 민감도를 높입니다.

3. 주요 기여

1. 문제 공식화: 본 논문은 모델이 명시적으로 주입된 행동이 아닌, 미세 조정의 의도치 않은 부작용으로 나타나는 정렬 변화를 설명해야 하는 부작용 자기 성찰(side-effect introspection) 상황을 정의합니다.
2. 데이터셋 구축: 213개의 실제 미세 조정된 모델과 1,523개의 안전 벤치마크 샘플을 사용하여 13가지 안전 카테고리를 포괄하는 새로운 감독 학습 데이터셋을 구축했습니다.
3. DAIA 아키텍처: 베이스 활성화와 미세 조정 유도 차이를 분리하여 처리함으로써 부작용에 대한 민감도를 높이는 델타 인식 인트로스펙션 어댑터(DAIA)를 제안했습니다.
4. 경험적 검증: 인트로스펙션 학습이 미학습 모델 및 미학습 안전 카테고리에 대한 분포 외(OOD) 설정에서도 일반화될 수 있음을 입증하였으며, DAIA가 기존의 LoRA 기반 인트로스펙션 어댑터보다 일관되게 우수한 성능을 보임을 증명했습니다.

4. 결과

4.1 정렬 변화

213개의 미세 조정된 모델을 평가한 결과, 비악의적 작업에 대한 미세 조정이 빈번하게 측정 가능한 부작용 불일치를 유도함을 발견했습니다.

• 방향: 많은 카테고리에서 평균 불일치 점수가 양의 방향으로 이동(더 위험해짐)했으며, 특히 허위 정보(Disinformation), 사이버(Cyber), 사기(Fraud) 분야에서 그러했습니다.
• 이질성: 변화는 균일하지 않았습니다. 어떤 카테고리(예: 저작권)는 평균적으로 더 안전한 변화를 보였고, 다른 카테고리는 모델 제품군에 따라 크게 달랐습니다.
• 가변성: 표준 편차가 평균 변화량보다 큰 경우가 많았는데, 이는 정렬 변화가 글로벌 트렌드를 따르기보다는 개별 미세 조정 모델에 매우 특이적임을 나타냅니다.

4.2 분류 성능

저자들은 세 가지 OOD 설정에서 방향(안전/변화 없음/위험)과 정도(약함/상당함)를 예측하는 IA의 능력을 평가했습니다:

• OOD-A: 미학습 모델, 학습된 카테고리.
• OOD-B: 학습된 모델, 미학습 카테고리.
• OOD-C: 미학습 모델, 미학습 카테고리.

주요 결과:

• DAIA vs. LoRA: DAIA는 모든 설정에서 표준 LoRA 기반 인트로스펙션 어댑터보다 일관되게 우수한 성능을 보였습니다. OOD-A에서 DAIA는 LoRA 대비 F1 점수를 약 6포인트 향상시켰습니다.
• 일반화: 두 인트로스펙션 방법 모두 무작위 추측, 다수 클래스 기준선, 그리고 가공되지 않은 미세 조정 모델보다 유의미하게 높은 성능을 보여 OOD 일반화 능력을 입증했습니다.
• 프로브 기준선(Probe Baseline): 내부 상태에 대한 단순 MLP 분류기(probe)는 분류 작업에서 인트로스펙션 방법과 유사한 성능을 보였습니다. 이는 단순 분류 설정에서 인트로스펙션이 내부 상태에 대한 분류기와 유사하게 작동할 수 있음을 시사합니다. 저자들은 인트로스펙션의 진정한 이점은 이번 평가의 주된 초점이 아니었던 자유 형식 보고(free-form reporting) 작업에 있을 수 있다고 언급했습니다.

4.3 메커니즘 분석

활성화 패칭(activation patching)을 사용하여 저자들은 DAIA가 어떻게 판단을 형성하는지 분석했습니다:

• 판단 형성: 최종적인 "안전/위험" 판단은 주로 출력 토큰이 생성되기 직전, 모델의 후기 레이어에 있는 **베이스 가중치(base weights)**의 MLP 레이어에서 형성됩니다.
• DAIA의 역할: 어댑터(DAIA)는 직접 판단을 생성하는 것이 아니라, 판단에 사용되는 내부 표현(internal representation)을 조건화(condition)합니다.
• 델타 인식: DAIA는 베이스 활성화($h_{base}$)보다 미세 조정 유도 활성화 차이($\Delta h$)에 더 강하게 의존하며, 이는 미세 조정에 의한 변화에 집중하도록 설계된 의도를 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 부작용 자기 성찰이 행동이 명시적으로 주입된 통제된 환경을 넘어 모델 감사의 필수적인 진화 단계라고 주장합니다. 미정의된 변화를 담은 데이터셋을 구축하고 DAIA를 제안함으로써, 본 연구는 모델이 양호한 미세 조정으로 인한 안전성 저하를 스스로 보고할 수 있음을 보여줍니다.

저자들은 인트로스펙션의 성격에 대해 겸손한 입장을 취합니다. 그들은 현재의 방법들이 복잡한 추론을 수행하기보다는 내부 상태에 대한 분류기로 기능할 가능성이 크다는 점을 인정합니다. 저자들은 인트로스펙션의 실질적인 가치가 모든 변체에 대해 전체 벤치마크 평가를 반복하기에 비용이 너무 많이 드는 시나리오에서, "저렴한 1차 진단 도구"로서의 잠재력에 있다고 봅니다. 향una 과제로는 단순 분류를 넘어 왜 불일치가 발생했는지 설명하는 자유 형식의 보고서를 생성하는 단계로 나아가는 것이라고 명시했습니다.