Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed

기술 요약: 프로브 선택이 카나리 암기 판결에 미치는 영향

문제 정의
본 논문은 자기회귀 생성 모델의 암기(memorization)를 평가할 때 발생하는 중대한 신뢰성 문제를 다룹니다. 즉, 평가용 프로브(probe)의 선택이 특정 훈련 데이터(카나리)의 암기 여부에 대한 판결을 실질적으로 바꿀 수 있다는 점입니다. 이 분야는 절단된 프리픽스 윈도우 평균 음의 로그 가능도(NLL), 전체 스팬 시크릿 NLL, 또는 행동적 완전 재현(behavioral exact-recall)과 같은 프로브에 의존하고 있으나, 본 연구는 이러한 지표들이 항상 일치하지는 않는다는 것을 보여줍니다. 구체적으로, 저자들은 표준적으로 내부 사전 지정된 프로브($\Delta$NLL$_{mean20}$, 고정된 프리픽스 윈도우 $K=20$ 토큰)가 제어된 LoRA 튜닝 테스트베드에서 전체 스팬 시크릿 NLL 또는 행동적 완전 재현(hit@1)과 일치하는지 조사합니다. 핵심적인 우려는, 단일 윈도우 프로브에 무비판적으로 의존할 경우 허위 음성(암기를 놓침) 또는 허위 양성(비-시크릿 스팬을 암기로 오인함)이 발생하여, 일반화와 암기 사이의 결론을 혼동하게 만들 수 있다는 것입니다.

방법론
저자들은 고정된 비전 타워와 학습 가능한 언어 타워를 가진 Qwen2.5-VL-7B 백본을 사용하여 제어된 암기 평가 테스트베드를 구축했습니다.

• 카나리 주입(Canary Injection): "Canary LoRA" ($r=32, \alpha=64$)를 통해 20개의 이미지 카나리와 20개의 텍스트 카나리를 모델에 주입합니다. 텍스트 카나리는 고정된 플레이스홀더 이미지와 쌍을 이루는 특정 템플릿(예: TEXTCAN-{16hex}-END)을 따릅니다.
• 양성 미세 조정(Benign Fine-Tuning, bSFT): 카나리가 병합된 베이스 위에 두 번째 LoRA ($r=16, \alpha=32$)를 쌓아서 사용합니다. 이 bSFT는 카나리 문자열을 명시적으로 제외한 네 가지 데이터 소스(GUI, SYNTH, SAFETY, RANDOM) 중 하나로 학습됩니다. 이 설정은 "스택형 LoRA(stacked LoRA)" 환경을 조성하여, 양성 미세 조정이 암기를 재활성화하거나 프로브 신호를 변화시키는지 테스트합니다.
• 프로브 정의: 연구는 세 가지 distinct한 프로브를 비교합니다:
  1. $\Delta$NLL$_{mean20}$: 처음 20개 토큰에 대한 평균 NLL의 변화 (표준적인 내부 사전 지정 프로브).
  2. $\Delta$NLL$_{hex}$: 전체 13개 토큰의 시크릿 헥사(hex) 스팬에 대한 NLL 변화 (꼬리 토큰을 포착하기 위해 $K=30$ 포워드 패스 사용).
  3. 행동적 hit@1: 그리디 디코딩 출력이 시크릿 문자열과 정확히 일치하는 카나리의 비율.
• 실험 범위: 연구는 34개의 bSFT 셀(102개 시드 레벨 실행 포함)을 집계하며, 미학습 제어군(undertrained controls)과 매칭된 노름 LoRA-NOISE 제어군을 포함합니다. 분석은 프로브 간에 불일치가 발생하는 사후 사례 연구에 집중합니다.

주요 기여
본 논문은 새로운 암기 지표를 제안하는 것이 아니라, 기존 지표에 대한 **템플릿 특화 감사(template-specific audit)**를 제공합니다. 주요 기여는 다음과 같습니다:

1. 프로브 불일치 식별: 저자들은 표준 $K=20$ mean-NLL 프로브가 전체 스팬 NLL 또는 행동적 재현과 모순되는 판결을 내리는 세 가지 뚜렷한 사후 사례 연구를 기록했습니다.
2. 메커니즘 분해: 이러한 불일치를 특정 토큰 위치 또는 베이스라인 환경 메커니즘으로 규명했습니다:
   • 윈도우 절단(Window Truncation, 허위 음성): $K=20$ 윈도우 외부에서 발생하는 손상.
   • 비-시크릿 스팬 드리프트(Non-Secret Span Drift, 허위 양성): 시크릿 스팬이 아닌 프리앰블(preamble) 토큰에 의해 유도된 프로브의 움직임.
   • 미학습 제어군 모호성(Undertrained Control Ambiguity): 디코이(decoy) 프로브 없이는 시크릿 특이적 학습과 구별할 수 없는 미학습 베이스라인에서의 NLL 하락.
3. 평가 프로토콜 권장 사항: 이러한 함정을 피하기 위한 다중 지표 보고 표준을 제안합니다.

결과: 세 가지 사례 연구
감사 결과, Qwen2.5-VL-7B 테스트베드에서 세 가지 구체적인 실패 모드가 발견되었습니다:

• 사례 1 (C3): 윈도우 절단이 희소한 꼬리 토큰의 취약성을 놓침 (Window Truncation Misses Sparse Tail-Token Brittleness).

  • 관찰: $\Delta$NLL$_{mean20}$은 평탄(+0.0001)하지만, hit@1은 1.00에서 0.88로 떨어지고, 전체 스팬 $\Delta$NLL$_{hex}$는 양수(+0.0133)입니다.
  • 메커니즘: 손상이 $K=20$ 윈도우 밖에 있는 마지막 헥사 토큰(위치 23)에 집중되어 있습니다. 표준 프로브는 이러한 희소하고 그리디 디코딩 특이적인 실패에 대해 "맹목적"입니다.
  • 증거: 60개의 그리디 실패 중 7개가 20개의 카나리 중 3개에서 발생했으며, 모두 마지막 1~2개 헥사 문자의 오류 때문이었습니다.

• 사례 2 (C4): 비-시크릿 스팬 드리프트 (Non-Secret Span Drift, 허위 양성).

  • 관찰: $\Delta$NLL$_{mean20}$은 상당한 양의 이동(+0.0150)을 보여 암기를 시사하는 반면, $\Delta$NLL$_{hex}$는 미미하며(+0.0004) hit@1은 1.00을 유지합니다.
  • 메커니즘: 스팬별 분해 결과, 프로브 움직임의 약 99%가 시크릿 스팬이 아닌 프리앰블 토크에서 발생했습니다. 시크릿 스팬 자체는 변하지 않았습니다.
  • 증거: bSFT-LoRA를 베이스 가중치에 병합했을 때 신호가 붕괴되는 것으로 보아, 이 드리프트는 평가 스택에 의존적이며 진정한 시크릿 스팬 효과가 아님을 나타냅니다.

• 사례 3 (C5): 모호한 미학습 인-윈도우 NLL 하락 (Ambiguous Undertrained In-Window NLL Drop).

  • 관찰: 미학습 베이스라인에서 $\Delta$NLL$_{mean20}$이 음수(-0.0070)를 기록하여, 해석에 따라 "망각" 또는 "재활성화"를 시사할 수 있습니다. 그러나 전체 스팬 $\Delta$NLL$_{hex}$는 양수(+0.0076)이며, hit@1은 0입니다.
  • 메커니즘: 인-윈도우 하락은 $K=20$ 내의 헥사 토큰에 국한되어 있지만, 전체 스팬 신호는 양수입니다. 디코이 프로브(섞인 헥사 또는 잘못된 시크릿) 없이는, 이것이 시크릿 특이적 학습인지 아니면 일반적인 포맷-프라이어 스무딩(format-prior smoothing) 또는 템플릿 적응인지 구분할 수 없습니다.
  • 증거: 음수의 mean20은 시크릿 복구와 비-시크릿 스무딩 모두와 일치하며, 미학습 환경에서는 verbatim hit@1 > 0이 관찰되지 않았습니다.

의의 및 주장
본 논문은 자신의 발견이 전 세계적인 일반론이라기보다 테스트된 백본(Qwen2.5-VL-7B)과 설정에 국한된 것이라고 겸손하게 주장합니다. 그러나 저자들은 실패 모드가 명명 가능하고 실행 가능하다고 주장합니다.

• 평가 신뢰성: 저자들은 단일 절단 윈도우(예: $K=20$)에 의존하는 것은 견고한 암기 감사를 위해 불충분하다고 단언합니다. 프로브 선택은 실제 모델 동작의 변화 없이도 판결을 "암기됨"에서 "암기되지 않음"(또는 그 반대)으로 뒤집을 수 있습니다.
• 프로토콜 권장 사항: 견고성을 보장하기 위해, 본 논문은 향후 감사가 다음을 보고할 것을 권장합니다:
  1. 전체 스팬 시크릿 NLL (윈도우 절단 오류를 방지하기 위해).
  2. 스팬 국소 분해 (Span-localized decomposition) (프리앰블 드리프트를 시크릿 손상과 구별하기 위해).
  3. $k \ge 4$에서의 행동적 완전 재현 (그리디 디코딩이 놓치는 희소한 꼬리 토큰의 취약성을 탐지하기 위해).
  4. 디코이 프로브 (Decoy probes) (시크릿 특이성을 주장하기 전 포맷-프라이어 스무딩을 배제하기 위해).

이 연구는 "일반화 대 암기"라는 결론이 사용된 특정 프로브 윈도우와 분해 전략에 매우 민감하다는 것을 보여주는 주의 깊은 감사 역할을 합니다.