The Illusion of Control: Why Bare Classifier Inversion Silently Fails in Concept-Bottleneck Text Generation

인공지능의 세계에서 연구자들은 컴퓨터가 생성한 텍스트가 특정 규칙을 준수하도록 만드는 방법을 오랫동안 모색해 왔습니다. 기계에게 문법적으로 올바를 뿐만 아니라, 특정 속성을 엄격히 따르는 이야기를 쓰도록 요청한다고 상상해 보십시오. 즉, 과거 시제로 작성되어야 하고, 특정 종류의 요리가 등장하며, 특정한 감정적 톤을 유지해야 한다는 식입니다. '다중 속성 제어(multi-attribute control)'라고 알려진 이 과제는 AI가 여러 지시 사항을 동시에 조절하도록 요구하며, 특히 그 지시 사항들이 이전에 본 적 없는 방식으로 결합될 때 더욱 그렇습니다. 이를 해결하기 위해 과학자들은 '컨셉 병목 모델(concept-bottleneck model)'이라 불리는 시스템을 개발했습니다. 이것을 모든 정보가 통과해야 하는 좁은 복도로 생각하면 됩니다. AI는 먼저 요청을 원하는 속성을 나타내는 압축된 저차원 코드로 변환한 다음, 그 코드를 사용하여 최종 텍스트를 생성합니다. 이러한 설계는 투명성과 정밀함을 약속하며, 인간이 가공되지 않은 텍스트와 씨름하는 대신 코드를 조정함으로써 기계를 제어할 수 있게 해줍니다.

하지만 새로운 연구는 이 시스템을 사용하는 가장 명백한 방법이 근본적으로 잘못되었다는 사실을 밝혀냈습니다. 수백만 개에서 수십억 개의 파라미터를 가진 모델들을 대상으로 연구한 결과, AI 자체의 내부 분류기를 역으로 이용해 코드를 생성하려고 할 때 시스템이 소리 없이 실패한다는 것을 발견했습니다. 결과물은 유창해 보이지만 지시 사항을 완전히 무시하며, 사실상 무작위로 추측하는 수준에 그칩니다. 연구팀은 이 실패의 원인을 숨겨진 결함에서 찾아냈습니다. 즉, 이 방법으로 생성된 코드가 AI의 생성기가 훈련 중에 한 번도 본 적 없는 수학적 공간에 존재한다는 것입니다. 이는 마치 번역가에게 지시를 전달하는데, 그 번역가가 전혀 다른 방언을 사용하는 것과 같습니다. 단어는 존재하지만 의미는 사라진 상태입니다. 이 연구는 이러한 실패가 단순한 작은 오류가 아니라, 다양한 모델 크기와 구조 전반에서 발생하는 완전한 제어의 붕괴임을 보여주며, 정상적으로 작동하고 있다고 믿게 만드는 표준적인 훈련 검사에서도 포착되지 않는다는 점을 입증했습니다.

연구진은 이러한 제어 코드를 만드는 직접적인 접근 방식을 테스트하는 것부터 시작했습니다. 컨셉 병 bottleneck 시스템에서 AI는 '긍정적 감정'이나 '과거 시제'와 같은 특정 속성을 인식하도록 훈련되며, 이러한 특성을 식별할 수 있는 내부 메커니즘 또는 '헤드(heads)'를 가지고 있습니다. 새로운 속성 조합으로 텍스트를 생성하기 위한 직관적인 해결책은, 특정 헤드를 트리거할 수 있는 코드를 AI가 찾도록 하는 것입니다. '분류기 역전(classifier inversion)'이라고 알려진 이 과정은 원하는 속성에 대해 내부 탐지기가 작동하도록 강제하는 코드를 수학적으로 찾는 과정을 포함합니다. 연구팀은 수억 개에서 수십억 개의 파라미터를 가진 여러 언어 모델에 이 방법을 적용했습니다. 그들은 AI가 훈련 단계에서 접해보지 못한 속성 조합에 대해서도 성공적으로 텍스트를 생성할 것이라고 기대했습니다.

그러나 결과는 놀라웠습니다. 연구진이 이 역전 방법을 사용했을 때, 생성된 텍스트는 일관되게 지시 사항을 따르는 데 실패했습니다. 네 가지 별개의 속성을 포함한 벤치마크 테스트에서 모델들은 실제 이해 없이 추측할 때의 기준선인 약 42.5%의 정확도를 기록하며 무작위 선택보다 나을 것이 없었습니다. 생성된 텍스트는 종종 문맥은 맞지만 주제에서 벗어나거나, 단어의 반복적인 루프로 퇴보했습니다. 결정적으로, 이 모델들의 훈련 지표는 건강한 상태를 유지하며 아무런 이상 징후를 보이지 않았습니다. 내부 탐지기는 목표 속성에 대해 실제로 작동하도록 강제되었지만, 생성된 코드가 정상적인 데이터 범위를 너무 크게 벗어나 있었기에 생성기가 이를 제대로 해석할 수 없었던 것입니다. 연구진은 이 거리를 직접 측정했고, 역전된 코드가 정상적인 방법으로 생성된 코드보다 훈련 데이터로부터 3배에서 7배 더 멀리 떨어져 있다는 것을 발견했습니다. 이 '오프 매니폴드(off-manifold)' 코드는 생소한 수학적 영역에 존재하며, 생성기가 텍스트를 층층이 쌓아 올릴 때 미세한 오류를 거대한 왜곡으로 증폭시키도록 만들었습니다.

왜 이런 일이 발생했는지 이해하기 위해 연구팀은 코드가 AI의 레이어를 통과하는 방식을 살펴보았습니다. 그들은 결함이 있는 코드가 생성 과정의 매 단계마다 더 크고 혼란스러운 신호처럼 작용한다는 것을 발견했습니다. 더 큰 모델 중 하나에서는 최종 레이어에서의 왜곡이 정상적인 코드가 생성하는 것보다 40배나 더 강력했습니다. 이러한 과도한 변조는 생성기를 안락한 구역 밖으로 밀어냈고, 새로운 지시를 따르기보다는 사전 훈련된 습관으로 회귀하게 만들었습니다. 연구는 이것이 특정 모델의 문제가 아니라 추론 프로토콜 자체의 근본적인 문제임을 확인했습니다. 동일한 실패가 GPT-2부터 LLaMA, Qwen에 이르기까지 다양한 모델 제품군에서 발생했으며, 코드를 훈련 데이터에 더 가깝게 유지하기 위해 수학적 페널티를 추가하더라도 지속되었습니다. 이러한 페널티가 상황을 약간 개선하기는 했지만, 잃어버린 제어력을 완전히 회복하지는 못했습니다.

연구진은 이후 다른 해결책인 '사후 라벨 조건부 사전 확률(post-hoc label-conditioned prior)'을 제안하고 테스트했습니다. 분류기로부터 코드를 역설계하는 대신, 이 방법은 주어진 속성에 대해 코드가 어떻게 보여야 하는지를 추정하는 간단하고 사전 훈련된 지도를 사용합니다. 이는 훈련 중에 나타난 모든 속성 조합에 대한 평균적인 코드를 학습한 다음, 그 평균을 사용하여 새로운 (보지 못한) 조합에 대한 코드를 예측하는 방식으로 작동합니다. 이 접근 방식은 노이즈 제거기(denoiser) 역할을 하여, 개별 문장의 무작위적인 특성을 걸러내고 핵심 개념에 집중합니다. 연구팀이 이 방법으로 전환하자 결과는 즉각적으로 변했습니다. 모델들은 복잡한 지시 사항을 따르는 능력을 되찾았으며, 정확도는 가장 큰 모델 기준으로 42.5%에서 최대 76%까지 급등했습니다. 생성된 텍스트는 정확할 뿐만 아니라 유창했으며, 모델이 이전에 경험하지 못한 방식으로 속성들을 성공적으로 결합했습니다.

이 연구 결과는 우리가 AI 텍스트 생성을 제어하는 방식을 어떻게 생각해야 하는지 재정립합니다. 연구는 가장 직접적인 제어 경로가 종종 잘못된 길이며, 외부에서는 성공처럼 보이지만 내부적으로는 침묵의 실패를 초래할 수 있음을 보여줍니다. 연구진은 실제 벤치마크를 통해 진단을 검증했으며, 새로운 방법이 제품 리뷰 및 단일 속성 작업 등 다양한 데이터셋에서 작동함을 확인했습니다. 또한 이 새로운 방법이 참조 문장을 찾아 복사하는 방식 등 기존의 다른 기술들보다 우수하다는 것을 입증했습니다. 핵심 통찰은 제어 코드가 생성기가 알고 있는 데이터 분포 내에 머물러야 하며, 이를 보장하는 최선의 방법은 최적화 탐색이 아닌 통계적 평균을 사용하는 것이라는 점입니다.

이 작업의 함의는 단순히 버그를 수정하는 것을 넘어섭니다. 이는 우리가 이러한 시스템을 평가하고 배포하는 방식에 존재하는 중요한 격차를 강조합니다. 모델은 훈련 중에 모든 내부 검사를 통과하며 완벽하게 학습되는 것처럼 보일 수 있지만, 새로운 방식으로 과업을 수행하라는 요청을 받으면 완전히 실패할 수 있습니다. 이 연구는 컨셉 병목 모델이 신뢰성을 갖기 위해서는 코드를 생성하는 데 사용되는 방법이 모델 자체만큼 중요하다는 점을 강조합니다. 결함이 있는 역전 방식을 통계적으로 근거가 있는 사전 확률로 대체함으로써, 연구진은 정밀한 제어라는 약속을 실현했습니다. 이것이 기술이 완벽하다는 뜻은 아닙니다. 연구는 새로운 방법이 아직 모든 지표에서 모든 기존 베이스라인을 능가하지는 못하며, 영어와 특정 모델 크기로 제한되어 있다는 점을 언급합니다. 그러나 이는 AI 텍스트 생성을 진정으로 제어 가능하게 만들기 위한 명확하고 작동 가능한 경로를 제공하며, 우리가 특정 속성을 가진 이야기를 요청할 때 기계가 실제로 그 말을 듣게 보장합니다.