Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons
이 논문은 미세 조정된 언어 모델에서 안전성 임계 레이어와 뉴런을 식별하는 표준 방법이 작은 프롬프트 배터리와 안전하지 않은 베이스라인으로 인한 "바닥 효과(floor effect)" 때문에 통계적으로 결함이 있으며, 이는 임계 구성 요소를 잘못 과다 계수하게 만들어 이중 메커니즘 안전성 설명에 대한 발표된 증거를 무효화한다는 것을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
우리가 대규모 언어 모델에게 유해한 요청을 거부하라고 요구할 때, 우리는 모델에게 복잡한 자기 절제의 행위를 수행하도록 요청하는 것이다. 이 모델들은 방대한 양의 인간 텍스트를 학습하여 문장에서 다음 단어를 예측하는 법을 배우지만, 무엇을 말하지 말아야 하는지를 배우기 위한 특별한 훈련 단계도 거친다. 기계론적 해석 가능성(mechanistic interpretability) 분야의 연구자들은 이 모델들을 어떻게 작동하는지 살펴보기 위해 분해할 수 있는 정교한 기계처럼 취급한다. 그들은 모델의 내부 구조 중 특정 부분이 질문에 답할지 아니면 거절할지를 결정하는 문지기 역할을 한다고 믿는다. 이러한 문지기를 찾기 위해 과학자들은 종로 종종 '절제(ablation)'라고 불리는 방법을 사용한다. 이는 모델의 단일 처리 계층이나 특정 뉴런과 같은 작은 부분 하나를 일시적으로 비활성화한 뒤, 모델이 이전에는 그러지 않았던 유해한 답변을 갑자기 생성하기 시작하는지 관찰하는 과정을 포함한다. 만약 특정 부분을 비활성화했을 때 모델이 거절에 실패한다면, 그 부분은 안전성에 핵심적인 것으로 분류된다. 목표는 거절의 정확한 메커니즘을 지도화하여 우리가 이러한 시스템이 어떻게 안전성을 유지하는지 이해하고, 어쩌면 개선할 수 있도록 하는 것이다.
조지타운 대학교의 양이치 장(Yangyi Zhang)이 수행한 최근 연구는 이 연구의 특정 사례를 조사하며, 그로부터 도출된 결론이 통계적 착시에 기반하고 있다고 밝혀냈다. 이 연구는 연구자들이 언어 모델의 주요 안전 문지기로 작하는 6개의 특정 계층과 205개의 특정 뉴런을 식별했다고 주장한 기록된 실험을 검토한다. 장의 분석에 따르면, 이 수치들은 모델의 실제 메커니즘을 반영하는 것이 아니다. 대신, 그것들은 실험 자체의 설계 결함, 구체적으로는 '바닥 효과(floor effect)'라고 알려진 문제의 결과이다. 이 맥락에서 바닥 효과는 안전을 측정하는 데 사용된 테스트가 실제 변화를 감지하기에는 너무 작고 약했기 때문에 발생했다. 해당 실험은 모델의 거절 여부를 테스트하기 위해 단 4개의 유해한 프롬프트만을 사용했다. 모델의 어떤 부분도 비활성화하기 전부터, 모델은 이미 이 4개의 프로프트 중 3개에 대해 거절에 실패한 상태였다. 모델은 이미 테스트 케이스의 대다수에서 안전하지 않은 상태였다.
모델이 이미 4개 중 3개의 프롬프트에서 실패하고 있었기 때문에, 모델의 어떤 단일 부분을 비활성화하더라도 실패 횟수가 그보다 더 늘어날 수는 없었다. 유해한 응답의 개수는 어떤 계층을 꺼두더라도 최소치인 3개에 묶여 있었다. 어떤 계층이 '핵심적'이라고 표시될 수 있는 유일한 방법은, 그 계층이 남은 단 하나의 안전한 프롬프트를 유해한 것으로 뒤집히게 만든 경우뿐이었다. 연구에서 보고된 6개의 핵심 계층은 단순히 그 하나의 특정 프롬프트를 뒤집어버린 계층들이었을 뿐이다. 그 외의 26개 계층은 해당 프롬프트를 뒤집지 못했기에 안전한 것으로 보고되었으나, 실제로는 핵심 계층들과 거의 동일하게 작동했다. '핵심적'인 계층과 '안전한' 계층 사이의 구분은 모델이 어떻게 작동하는지의 차이가 아니라, 아주 작은 테스트 세트가 우연히 어떻게 행동했느냐의 차이였다. 보고된 6개의 핵심 계층 세트는 모델의 안전 메커니즘을 발견한 것이 아니라, 테스트에 사용된 4개의 프롬프트의 속성이었다.
또한 이 조사는 개별 뉴런에 관한 주장에서도 유사한 문제를 발견했다. 원래의 보고서는 연구자들이 수십만 개의 뉴런을 스캔하여 특정 임계값을 사용하여 205개의 핵심 뉴로를 찾아냈다고 기술했다. 그러나 장이 그 실험에서 저장된 실제 데이터 파일들을 조사했을 때, 숫자가 일치하지 않았다. 저장된 데이터에는 전체 세트가 아닌 5-백 개의 뉴런에 대한 기록만 포함되어 있었으며, 그들에게 기록된 영향력 점수는 보고서에 사용된 임계값보다 훨씬 낮았다. 저장된 데이터 내에서는 205개의 뉴런을 선택할 수 있는 임계치가 존재하지 않았으며, 대신 데이터상으로는 단 하나의 뉴런만이 보고된 임계값을 초과했다. 205개의 핵심 뉴런이라는 주장은 실제로 저장된 증거에 의해 뒷받침되지 않았다. 더욱이, 계산 속도나 서로 다른 테스트 방법 간의 중첩과 같이 원래 보고서에서 언급된 다른 특정 측정치들도 저장된 파일 어디에서도 발견되지 않았다. 그 숫자들은 논문의 텍스트에는 나타났지만, 원시 데이터로는 추적할 수 없었다.
이 연구는 또한 모델의 계층 중요도가 네트워크 깊숙이 들어갈수록 점차 사라지는 매끄럽고 예측 가능한 패턴을 따른다는 주장에 의문을 제기한다. 원래의 보고서는 계층을 비활성화했을 때의 영향력이 매우 첫 번째 계층들에서 가장 중요한 작업이 일어나는 지수 곡선을 그리며 깔끔하게 감소한다고 제안했다. 하지만 저장된 데이터를 재분석한 결과, 실제 패턴은 훨씬 더 무질서하다는 것이 드러났다. 계층의 영향력은 부드럽게 사라지지 않는다. 대신, 네트워크의 가장 마지막 계층을 포함한 몇몇 특정 계층들에 의해 지배되며, 마지막 계층은 비활성화 시 큰 영향을 보였다. 데이터는 깔끔하게 감소하는 곡선이라는 아이디어를 지지하지 않는다. 대신, 안전이 단일하고 질서 정연한 쇠퇴가 아니라 모델 전체에 흩어져 있는 희소한 계층 세트에 의해 영향을 받는 더 복잡한 현실을 시사한다.
이 작업은 해당 모델에 안전 메커니즘이 결여되어 있다거나 이중 메커니즘 이론이 틀렸다는 것을 증명하는 것은 아니다. 이는 단지 기록된 실행 과정에서 제시된 특정 증거가 그러한 주장을 뒷받침하기에 불충분하다는 것을 보여줄 뿐이다. 이 연구 결과는 이러한 유형의 연구에 대한 근본적인 요구 사항을 강조한다. 즉, 비활성화했을 때 결과가 변하는 것을 볼 수 있도록 테스트 세트는 모델이 실제로 거절하는 프롬프트로 충분히 커야 한다는 것이다. 기준점이 이미 대부분의 프롬프트에서 안전하지 않다면, 테스트는 개별 부분의 기여도를 측정할 수 없다. 어떤 계층이나 뉴런이 안전을 담당하는지 진정으로 식별하려면, 연구자들은 훨씬 더 많은 양의 기준 안전 프롬프트가 필요하며, 임의의 임계값을 넘는 계층의 목록만을 제시하는 대신 결과의 전체 분포를 보고해야 한다. 이 연구는 귀속(attribution) 주장은 그들이 재계산할 수 있는 데이터만큼만 강력하다는 결론을 내리며, 이 경우에는 데이터가 도출된 대담한 결론들을 뒷받침하지 못했다고 결론짓는다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.