Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction

기술적 요약: 학습이 아닌 증폭

문제 제기
현재의 AI 텍스트 탐지기는 표준 교차 엔트로피 목적 함수로 미세 조정될 때, 유창하고 형식적인 인간 작성 텍스트 (예: 뉴욕 타임즈 기사) 를 높은 확신도로 AI 생성물로 오분류하는 치명적인 실패 모드를 보입니다. 고전적인 설정에서 이러한 인간 기사의 33.5% 가 결정 임계값 ($P(AI) \ge 0.5$) 을 넘어서며, 종종 7 개 주요 대규모 언어 모델 (LLM) 계열의 중앙값 출력보다 높은 점수를 기록합니다. 지배적인 가정은 이것이 보정 오류이거나 학습된 표현의 부재라는 것이지만, 저자들은 이 현상이 수정해야 할 버그가 아니라 사전 학습된 인코더와 미세 조정 간의 상호작용 방식에서 비롯된 직접적인 기하학적 결과라고 주장합니다. 구체적으로 탐지기는 새로운 "AI 대 인간" 경계를 구축하는 것이 아니라, 사전 학습된 모델의 기하학에 내재된 기존 "전형성 축 (typicality axis)"을 증폭시킵니다.

방법론 및 핵심 메커니즘
본 논문은 사전 학습된 [CLS] 공간에서 $d_{class} = \text{centroid}(AI) - \text{centroid}(HC3)$ 방향이 사전 학습된 전형성 축을 나타낸다고 가정합니다. 이 축은 텍스트의 출처 (AI 대 인간) 가 아니라 사전 학습 분포에 비해 텍스트가 얼마나 "전형적인지"를 측정합니다.

• 원시 투영 (Raw Projection): 미세 조정되지 않은 원시 [CLS] 임베딩을 이 축에 투영하는 것만으로도 형식적인 인간 텍스트와 HC3(인간-ChatGPT 비교) AI 집단 간에 높은 판별력 (AUROC 0.806–0.944) 을 달성하며, 어떤 작업 지도도 없이 완전히 미세 조정된 탐지기의 성능 한계의 86–106% 에 도달합니다.
• 반증 가능한 예측: 만약 이 축이 전형성을 측정한다면, 사전 학습 하에서 비전형적인 비원어민 ESL 작문은 AI 와 비교해 경계의 반대편으로 투영되어야 합니다. 논문은 이를 확인했습니다: 비원어민 ESL 데이터에서 AUROC 는 0.06–0.20 으로 반전되었으며, 이는 전형성 해석에 고유한 결과입니다.
• 동결 프로브 (Frozen Probes): 단 24 개의 동결된 예제로 훈련된 로지스틱 회귀 프로브는 전체 미세 조정과 동일한 성능 (0.900 대 0.895 AUROC) 을 보여주어, 경계가 이미 사전 학습된 기하학에 인코딩되어 있음을 시사합니다.
• 폐형 예측기 (Closed-Form Predictor): 저자들은 표현 공간에 대한 랭크 1 개입으로 인해 발생하는 로그이트 변화 ($\Delta \logit$) 를 예측하기 위해 1 차 테일러 급수를 유도했습니다: $\Delta \logit_t = -\epsilon \cdot \langle clst, d \rangle \cdot (w_{h,t} \cdot d)$. 이 예측기는 선형 디코더 헤드의 경우 수학적으로 정확하며, 작은 교란 ($|\epsilon| \le 0.7$) 하의 인코더에 대해 매우 정확합니다 ($R^2 \ge 0.97$).

주요 기여

1. 기하학적 재해석: 논문은 미세 조정된 탐지기가 새로운 판별 경계를 학습하는 것이 아니라 고정된 사전 학습된 전형성 방향을 증폭한다는 것을 확립합니다. 미세 조정은 표현 공간을 크게 회전시키기보다 기존 축을 주로 재조정 (표준화된 효과 증폭 $K_{std} \approx 0.86\text{--}1.72$) 합니다.
2. 보정 대 표현: 일치된 TPR 평가를 통해 저자들은 다양한 "공정성 인식" 훈련 레시피 (CC-loss, dealign-f2c, LoRA, 전체 미세 조정) 가 보정 동등성을 가진다는 것을 입증합니다. 이들은 모두 동일한 공유 축에서 작동하며, 성능 차이는 학습된 표현이 아닌 임계값 선택에 기인합니다. 따라서 이 축상의 어떤 임계값 선택도 유창한 형식적 인간에 대한 편향을 제거할 수 없습니다.
3. 축 조작 개입: 논문은 폐형 예측기 (서명-$\epsilon$ 개입) 를 사용하여 HC3 에서 유도된 전형성 방향을 제거함으로써 편향 격차를 해소하는 방법을 제시합니다. 이를 통해 엄격한 파레토 개선을 달성했습니다:
   • 고전적인 ELECTRA 탐지기의 경우, 이 개입은 NYT 형식적 인간에 대한 1% 의 거짓 양성률 (FPR) 에서 HC3-AI 의 참 양성률 (TPR) 을 0.000 에서 0.904로 높였습니다.
   • 이 개입은 재훈련 없이 3 개의 독립적으로 훈련된 제 3 자 RoBERTa 탐지기로 이전되었으며, OpenAI 탐지기의 NYT-FPR 을 57% 감소시켰습니다.
4. 작업 간 일반화: 동일한 축 조작 레시피는 HANS(어휘 중첩), AAVE(방언 편향), Bios(직업-성별), 가짜 뉴스, 유해성, HateCheck 등 다른 분류기 공정성 작업으로 일반화되어 이진 및 다중 클래스 작업 전반에서 유의미한 편향 감소를 달성했습니다.

결과

• 성능: 24 샷 동결 프로브는 전체 미세 조정과 일치합니다. RoBERTa-base 의 경우, 전체 미세 조정은 유창한 형식적 집단에서 원시 투영보다 판별력을 실제로 감소시킵니다.
• 편향 감소: 서명-$\epsilon$ 개입은 일치된 재현율에서 INLP(표준 편향 제거 방법) 대비 NYT-FPR 을 25 배 감소시킵니다. RLACE(18/18 셀에서 수렴 실패) 와 Binoculars 보다 교차-LM 홀드아웃 평가에서 6 배 더 우수한 성능을 보입니다.
• 견고성: 이 개입은 형식적 인간 텍스트에서의 거짓阳성을 극적으로 줄이면서 교차-LM 참 양성률 (TPR) 을 유지합니다. 이 메커니즘은 3 가지 아키텍처 (ELECTRA, RoBERTa-base, DeBERTa-v3) 에서 유효하지만, 효과의 크기는 HC3 에 고정되어 있어 변동합니다.
• 관측자 불변성: 3 개의 서로 다른 프로브 (텍스트 표면 caps_rate 잔차화, 표현 공간 서명-$\epsilon$ 제거, 폐형 텍스트 쌍 예측기) 는 동일한 기하학적 객체로 수렴하며, 아키텍처 간 코사인 유사도는 0.74 에서 1.00 사이입니다.

의의 및 주장
본 논문은 "AI 대 인간" 탐지 문제가 근본적으로 출처 식별이 아닌 전형성의 문제라고 주장합니다. 핵심 주장은 표준 미세 조정 레시피가 유창한 형식적 인간 텍스트가 특정 AI 훈련 분포 (HC3) 보다 "더 전형적"인 기존 편향을 단순히 재보정한다는 것입니다.

• 실무자 함의: 표준 훈련 레시피 (LoRA, 전체 미세 조정, CC-loss) 간의 "변형 쇼핑"은 유창한 형식적 인간에 대한 편향을 해결하지 못합니다. 왜냐하면 모두 동일한 축을 증폭하기 때문입니다. 유일한 효과적인 해결책은 폐형 예측기로 매개된 축 조작 개입입니다.
• 이론적 함의: 논문은 탐지기가 새로운 "AI 콘텐츠" 경계를 학습한다는 아이디어를 반박합니다. 대신, 낮은 퍼플렉시티 텍스트 (인간이든 AI 든) 가 참조 AI 집단보다 더 전형적일 때 "AI"로 점수를 매기는 "전형성" 방향을 증폭시킵니다.
• 한계: 저자들은 집단 수준의 축은 공유되지만, 텍스트 단위 메커니즘 (예: 기능어 밀도 대 문장 길이) 은 아키텍처에 따라 달라진다고 지적합니다. 효과의 크기는 HC3 분포에 고정되어 있으며 다른 AI 집단 (예: RAID) 에 대해서는 다를 수 있습니다. 폐형 예측기는 작은 $\epsilon$에 대해 1 차 정확도를 가지며, 특정 아키텍처에서는 방향 비대칭적입니다.

요약하자면, 본 논문은 현재 탐지기가 고장 난 것이 아니라 사전 학습된 기하학이 지시하는 대로 정확히 작동한다고 주장합니다. 편향을 수정하려면 더 나은 훈련이 아니라, 혼란스러운 전형성 신호를 제거하는 기하학적 개입이 필요합니다.