← 최신 논문
🤖 머신러닝

A Rank-One Bypass of Fixed Linear Erasure

이 논문은 오픈 웨이트 모델의 고정된 선형 삭제 레이어가 랭크-원 아핀 바이패스(rank-one affine bypass)에 취약함을 입증하며, 이를 통해 공격자가 무해한 분류기 출력은 보존하면서 삭제된 타겟 정보를 복구할 수 있음을 보여줌으로써, 이러한 삭제 보증이 표현의 안전성은 보장하지만 변조 저항성은 보장하지 못한다는 것을 증명한다.

원저자: Jai Kumar Sharma, Vanshaj Khattar

게시일 2026-11-19
📖 5 분 읽기🧠 심층 분석

원저자: Jai Kumar Sharma, Vanshaj Khattar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 안전성은 종종 단순한 아이디어에 의존한다: 만약 컴퓨터가 위험한 개념을 "볼" 수 없게 만들 수 있다면, 그 개념을 생성할 수도 없다는 생각이다. 연구자들이 모델이 사람의 이미지를 인식하도록 가르쳤지만, 특정 유해 카테고리를 인식하는 능력을 외과적으로 제거한 상황을 상상해 보라. 그들은 모델의 내부 수학을 편집하여 특정 카테고리를 찾으려는 모든 시도가 평평하고 무의미한 신호로 나타나도록 함으로써 이 작업을 수행한다. '개념 삭제(concept erasure)'라고 알려진 이 기술은 영구적인 필터 역할을 하도록 설계되었다. 모델에 이러한 필터를 적용하여 대중에게 공개하면, 사용자가 코드를 다운로드하여 자신의 컴퓨터에서 직접 실행하더라도 모델이 안전하게 유지될 것이라는 희망이 담겨 있다. 이는 안전 장치가 사용자에 의해 변경될 수 없는, 기계의 고정된 일부라는 가정을 전제로 한다.

그러나 한 새로운 연구는 다음과 같은 비판적인 질문을 던짐으로써 이 가정에 도전한다: 만약 사용자가 안전 필터로 들어가는 정보를 공급하는 기계의 부품을 변경할 수 있다면 어떤 일이 벌어질까? 표준 이미지 인식 작업으로 연구를 진행한 연구진은 고정된 안전 계층이 잠금장치가 아니라 단지 문(gate)에 불과하다는 것을 발견했다. 만약 문이 특정 방향의 정보는 차단하지만 다른 방향으로 아주 작은 틈이라도 남겨둔다면, 영리한 사용자는 금지된 개념을 그 틈 사이로 밀어 넣기 위해 입력 데이터를 재작성할 수 있다. 이 연구는 이러한 우회가 복잡하고 예측 불가능한 결함이 아니라, 실행하는 데 매우 적은 노력이 필요한 단순한 수학적 기동임을 보여준다.

연구진은 선형 삭제 계층(linear erasure layer)이라는 특정 유형의 안전 필터에 집중했다. 쉽게 말해, 이 계층은 모델이 형성한 복잡한 내부 이미지를 가져와 이를 새로운 좌표 세트로 투영하며, 금지된 대상과 관련된 모든 정보를 의도적으로 평평하게 만든다. 이 계층이 제공하는 보증은 명확하다: 만약 필터를 거쳐 나오는 결과물을 정확히 그대로 본다면, 어떤 표준 선형 탐지기도 금지된 개념을 찾아낼 수 없다. 모델 제작자들은 이로 인해 해당 개념을 읽을 수 없게 된다고 주장한다. 연구는 수정되지 않은 출력물에 대해서는 이 주장을 사실로 받아들이되, 모델이 수정 가능한 상태일 때 어떤 일이 일는지 조사한다. 연구진은 공격자가 필터 이전의 계층을 변경하여 금지된 점수를 필터가 통과시키는 마침내 존재하는 특정 방향으로 직접 써넣을 수 있는지 물었다.

그들이 찾아낸 답은, 고정된 안전 계층의 보증이 실제 상황에서는 보이는 것보다 훨씬 취약하다는 것이다. 연구진은 만약 필터가 단 하나의 정보 방향이라도 통과시킨다면, 공격자가 원하는 '금지된' 점수를 계산하여 그 특정 방향으로 주입할 수 있음을 증명했다. 필터가 그 방향을 차단하지 않기 때문에, 점수는 변함없이 통과한다. 일단 반대편으로 나오면, 표준 탐지기가 이를 완벽하게 읽을 수 있다. 연구는 이것이 모델의 대대적인 개편을 필요로 하지 않는다는 것을 보여주었다. 사실, 공격자는 모델의 이전 계층에 매우 작고 특정한 조정, 즉 수학적으로 단 하나의 단순한 이동(shift)으로 설명되는 아주 미세한 변화만을 가하면 된다. 이 조정만으로도 금지된 정보를 필터 주변으로 완전히 우회시켜 전달하기에 충분하다.

이를 테스트하기 위해 팀은 삭제 및 후속 공격을 시뮬레이션하기 위해 표준 이미지 데이터 세트와 여섯 가지 서로 다른 카테고리 쌍을 사용했다. 그들은 모델의 내부 특징을 평균 10%만 수정하는 매우 작은 편집만으로도, 공격자가 금지된 개념의 잠재력을 거의 모두 회복할 수 있다는 것을 발견했다. 구체적으로, 공격은 개념이 삭제되지 않았을 때 가질 수 있었던 잠재적 이득의 약 91%를 회복했다. 이는 필터가 공격 전과 비트 단위까지 똑같이 유지되었음에도 불구하고 발생한 일이다. 또한 연구진은 이러한 우회가 모델의 의도된 안전한 작업 수행 능력을 해치지 않고도 가능하다는 것을 보여주었다. 그들은 공격을 구성할 때 다른 무해한 카테고리에 대한 점수는 소수점 끝자리까지도 전혀 변하지 않도록 설계했다. 이는 사용자가 이론적으로 특정 타겟에 대한 안전 필터를 우회하면서도 모델이 다른 모든 것에 대해 정상적으로 작동하게 할 수 있음을 의미한다.

또한 이 연구는 안전을 측정하는 방식과 그것이 실제로 어떻게 유지되는지 사이의 결정적인 차이를 강조했다. 연구진은 단순하고 표준적인 탐지기를 사용하여 안전 필터를 테스트하면 완벽하게 작동하는 것처럼 보인다는 점에 주목했다. 금지된 개념은 수정되지 않은 출력물 내에서 정말로 읽을 수 없는 상태가 된다. 그러나 이 테스트는 입력값이 재작성될 수 있다는 사실을 고려하지 못한다. 연구진은 약한 탐지기가 잘못된 보안 의식을 심어주어 삭제가 실제보다 더 강력해 보이게 만들 수 있음을 발견했다. 더 정밀한 방법으로 필터를 점검했을 때, 그들은 안전 보증이 현재 상태의 모델에만 적용될 뿐, 사용자에 의해 편집된 모델에는 적용되지 않는다는 것을 발견했다.

이 우회의 비용은 놀라울 정도로 낮지만, 제로(0)는 아니다. 연구진은 우회를 달성하기 위해 모델의 내부 특징을 얼마나 변경해야 하는지 측정했다. 그들은 허용된 변화량이 작아질수록 공격의 성공률이 급격히 떨어진다는 것을 발견했다. 1%의 변화에서는 공격이 개념의 잠재력 중 25%만을 회복했다. 그러나 10%의 변화에서는 회복률이 90% 이상으로 뛰어올랐다. 이는 공격이 수행하기 쉽기는 하지만 공짜는 아니며, 모델에 대한 측정 가능한 수준의 변형을 요구한다는 것을 시사한다. 그럼에도 불구하고, 오픈 웨이트 모델은 사용자가 이러한 변형을 자유롭게 할 수 있도록 허용하므로, 모델이 얼마나 변경될 수 있는지에 대한 제한을 강제할 메커니즘은 존재하지 않는다. 연구는 이러한 필터의 존재만으로는 모델의 안전을 보장할 수 없다고 결론짓는다.

이러한 발견의 함의는 AI 안전을 생각하는 방식에 있어 매우 중요하다. 연구진은 선형적 가드(linear guardedness), 즉 이러한 필터의 사용이 데이터의 특정하고 변하지 않는 표현에 대한 유효한 보증이라고 주장한다. 그것은 모델이 현재 상태로서 해당 개념을 읽을 수 없음을 증명한다. 하지만 사용자가 모델을 편집한 후에 모델이 해당 개념을 읽을 수 있게 될 것이라는 점에 대한 보증은 아니다. 연구는 이 우회가 모든 유형의 AI 모델이나 모든 종류의 유해한 콘텐츠에 작동한다고 주장하는 것은 아니며, 실험이 특정 이미지 작업과 선형 필터로 제한되었다는 점을 명시했다. 그들은 자신들의 결과가 비선형적이거나 더 복합적인 필터 역시 동일한 방식으로 실패할 것임을 입증하는 것은 아니라고 분명히 밝혔다. 그러나 테스트 범위 내에서 결과는 명확하다: 고정된 필터는 변조 불가능한 인장이 아니다.

결국, 이 논문은 AI 안전 분야에 냉혹한 현실을 일깨워준다. 이는 '안전한' 오픈 웨이트 모델이라는 약속이 얼마나 취약한지를 보여준다. 모델의 가중치가 공개되어 있다면, 그 안에 구축된 안전 메커니즘은 입력을 재작성함으로써 우회될 수 있다. 연구진은 미래의 안전 평가가 이러한 가능성을 반드시 고려해야 한다고 제안한다. 단순히 정적인 모델에 대해 필터가 작동하는지 확인하는 대신, 공격자가 그것을 깨뜨리는 데 얼마나 많은 노력이 드는지 측정해야 한다는 것이다. 연구는 이 비용에 대한 명확한 지표를 제공하며, 편집에 대한 엄격한 제한이 공격을 어렵게 만들 수는 있지만, 오픈 웨이트 출시의 본질 자체가 그러한 제한을 강제할 수 없음을 보여준다. 따라서 이러한 시스템의 안전은 단순히 필터의 강도에 달려 있는 것이 아니라, 사용자가 그것을 깨뜨리려 하지 않을 것이라는 가정에 달려 있는데, 이 연구는 그 가정이 더 이상 안전하지 않음을 시사한다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →