Testing Whether Internal Backdoor Precursors Precede Behavior: A Causal, Power-Matched Protocol

기술 요약: 내부 백도어 전구체(Precursor)가 행동에 앞서 나타나는지 여부에 대한 테스트

문제 정의
현재의 AI 모델 안전 모니터링은 일반적으로 완성된 모델이 백도어를 포함하고 있는지 평가하거나, 훈련 역학을 독립적으로 분석하는 데 그칩니다. 결정적인 시간적 간극이 남아 있습니다. 즉, 백도어와 관련된 내부 표현이 모델의 출력 행동이 통계적으로 유의미한 변화를 보이기 전에 감지 가능한지 여부는 알려져 있지 않습니다. 기존 방법론들은 일치하는 귀무 조건(matched null conditions)이 결여되어 있거나, 임의의 분류 임계값을 사용하거나, 조밀한 체크포인트 검사 과정에서 가족별 오류율(family-wise error rate)을 제어하지 못하기 때문에, 내부 신호와 출력 행동 사이의 인과적, 시간적 비교를 확립하는 데 실패합니다. 또한, 디코딩 가능한 내부 신호가 반드시 인과적 전구체를 의미하는 것은 아닙니다. 그것은 단지 트리거의 존재를 인코딩할 뿐, 타겟 행동을 유발하지 않을 수도 있습니다.

방법론
저자는 내부 백도어 전구체가 행동적 발현에 앞서 나타나는지를 테스트하기 위한 엄격하고 반증 가능한 프로토콜을 제안합니다. 실험에는 SST-2 감성 분류 작업에 미세 조정된 124M 파라미터 규모의 GPT-2 모델을 사용합니다.

1. 실험 설계:

   • 훈련 프로토콜: 모델은 "클린 적응(clean adaptation)" 단계를 거친 후, 트랜스포머 블록 10과 11(및 최종 레이어 노름)만을 업데이트하는 지속 단계(continuation phase)를 거칩니다.
   • 조건: 두 가지 조건이 병렬로 실행됩니다:
     • 백도어 조건: 특정 토큰 마커(cf)가 타겟 행동(부정적 리뷰를 긍정적 감성으로 매핑)과 연관됩니다.
     • 일치하는 귀무 조건(Matched-Null Condition): 동일한 입력, 마커 노출, 레이블 총합, 레이블 노이즈를 사용하지만, 활성 마커는 타겟 행동과 연관되지 않습니다(오분류는 마커가 없는 예시에서 발생함).
   • 조밀한 체크포인트: 모델은 모든 업데이트 단계(0에서 80까지)마다 평가됩니다.

2. 이중 탐지기(Dual Detectors):

   • 행동 평가(Behavioral Assay): 활성 마커 입력 대 제어 마커 입력을 대상으로, 사전 지속 단계 베이스라인 대비 출력 로짓 마진(양수 로짓에서 음수 로짓을 뺀 값)의 연속적 변화를 측정합니다. 이는 임의의 임계값 설정을 피하기 위함입니다.
   • 내부 평가(Internal Assay): 성숙한 백도어 메커니즘을 포착하기 위해 별도의 데이터셋으로 훈련된 독립적인 "발견(discovery)" 지속 단계로부터 유도된 잠겨 있는 1차원 방향에 투영된 잔차 스트림(블록 10 이후)의 변화를 측정합니다. 결정적으로, 이 방향은 확인 실행(confirmation runs)이 시작되기 전에 고정되어 오버피팅을 방지합니다.

3. 인과적 개입(Causal Interventions):
   초기 내부 신호가 단순한 '디코딩 가능한 승객'이 아니라 전구체임을 검증하기 위해, 주장된 탐지 시점에 인과적 개입을 수행합니다.

   • 절제(Ablation): 활성 마커 활성화에서 획득된 좌표를 제거합니다.
   • 복구(Restoration): 독립적인 기증 예시(donor examples)로부터 가져온 체크포인트 일치 진폭을 절제된 활성화에 추가합니다.
   • 제어 패칭(Control Patching): 제어 마커 입력에 해당 진폭을 추가합니다.
     이러한 개입은 시간적 분리를 보장하기 위해 서로 다른 프롬프트 세트에서 테스트됩니다.

4. 통계적 보정(Statistical Calibration):

   • 오류 제어: 160개의 탐지기-체크포인트(2개 탐지기 × 80개 업데이트)를 검사하는 데 내재된 "다중 비교 문제"를 해결하기 위해, 20,000번의 부트스트랩 추출을 통해 도출된 **최대 통계량 컷오프(maximum-statistic cutoff)**를 사용합니다. 이를 통해 엄격한 가족별 허위 양성률(family-wise false-positive rate)을 보장합니다.
   • 검정력 매칭(Power Matching): 두 탐지기는 동일한 샘플 크기($n=128$), 동일한 학생화된 평균 통계량(studentized mean statistic), 그리고 동일한 컷오프를 사용하여 비교 가능한 통계적 검정력을 갖도록 합니다.
   • 의사결정 게이트: 양성 결과는 다음을 요구합니다: (1) 내부 테스트가 유의미한 횟수로 행동 테스트보다 먼저 임계값을 통과함; (2) 내부 교차 시점에서 타겟 행동의 억제(절제) 및 구제(복구)가 성공함; (3) 홀름(Holm) 보정을 적용한 정확한 부호 반전 검정(exact sign-flip tests)을 통한 통계적 유의성 확보.

주요 기여

• 실행 가능한 프로토콜: 매칭된 조건 하에서 내부 표현과 출력 행동의 발생 시점을 비교하기 위해 완전히 명시되고 반증 가능한 프로토콜을 제시합니다.
• 인과적 시간 비교: 내부 신호가 단순히 디코딩 가능하다는 것을 넘어, 그것이 인과적으로 필수적인지(절제/복구를 통해) 확인함으로써 상관관계를 넘어 인과성을 검증합니다.
• 엄격한 통계적 프레임워크: 조밀한 시간적 검사 전반에 걸쳐 허위 양성을 제어하기 위한 공동 최대 통계량 보정법을 도입하고, 내부 및 행동 테스트 간의 검정력을 일치시킵려 합니다.
• 디코딩 가능성과 인과성의 분리: 독립적인 방향 발견과 인과적 개입을 사용함으로써, 정보가 단순히 가중치에 존재하는 것인지 아니면 기능적으로 백도어를 구동하는 것인지를 구분합니다.

결과
본 논문은 시간적 가설에 관한 확증적 결과는 보고하지 않는다고 명시적으로 밝히고 있습니다.

• 저자는 파이프라인을 검증하기 위해 클린 적응, 발견 방향 피팅, 조밀한 평가, 인과적 개입 로직을 포함한 "스모크 테스트(smoke tests)" 및 합성 단위 테스트를 수행했습니다.
• 이러한 테스트들은 구현 세부 사항(예: 토큰 ID, 파라미터 수, 워크플로 타이밍)을 확인했으나, 이는 명백히 **비추론적(non-inferential)**이었습니다.
• 따라서, "인과적으로 필수적인 백도어 표현이 매칭된 행동보다 먼저 감지되는가?"라는 질문은 여전히 미해결 상태로 남아 있습니다. 본 논문은 의사결정 절차와 오류 분석을 제공하지만, 그 답을 제공하지는 않습니다.

의의 및 주장
이 논문의 주요 기여는 경험적 결과가 아닌 방법론적 측면에 있습니다.

• 내부 전구체가 행동에 앞서 나타나는지를 테스트하기 위한 반증 가능한 기준을 확립하여, 연구자들이 토큰 정체성, 임계값 처리된 행동, 프로브의 유연성 또는 불균형한 오류 예산 등을 실제 조기 경보로 오인하는 것을 방지합니다.
• 저자는 "조기 경보"라는 주장이 네 가지 연결된 구성 요소, 즉 정적 입력 정체성을 제외한 베이스라인, 연속적 출력 비교기, 거부 기회의 균등화(검정력 매칭), 그리고 단순한 디코딩 가능성이 아닌 인과적 사용을 확립하는 개입을 필요로 한다고 주장합니다.
• 이 연구는 단순한 최종 모델 감사를 넘어, 안전 관련 전구체를 모니터링하기 위한 운영 가능한 테스트를 제공함으로써 "발달적 해석 가능성(developmental interpretability)"의 의제를 지원합니다.

요약하자면, 본 논문은 백도어 전구체를 엄격하게 테스트하는 방법을 정의하지만, 그것을 찾아냈다고 주장하지 않으며, 실질적인 질문은 이 프로토콜의 향후 적용을 위해 열어두었습니다.