당신이 고양이부터 자동차까지 수천 가지의 사물을 사진 도서관을 통해 학습하여 인식할 줄 아는 아주 똑똑한 로봇을 가지고 있다고 상상해 보세요. 이 로봇은 매우 유용하지만 동시에 매우 경직된 형태인 '파운데이션 모델(foundation model)'과 같은 유형의 인공지능입니다. 이제 이 로봇이 끊임없이 업데이트되어야 하는 세상을 상상해 보세요. 예를 들어, 사용자가 '잊힐 권리' 법률에 따라 자신의 개인 사진을 로봇의 기억에서 삭제하고 싶어 할 수도 있고, 혹은 로봇이 즉시 지워야 할 해로운 것을 배웠을 수도 있습니다. 이것이 바로 **기계 언러닝(machine unlearning)**의 세계입니다. 이것은 학생에게 다른 모든 것을 배운 상태는 그대로 유지하면서 특정 교과서의 한 단원만 잊으라고 말하는 것과 같습니다. 문제는 까다롭습니다. 단순히 로봇에게 "잊으라"고 말하기만 하면, 로봇이 이름을 말하지는 못하더라도 그 정보의 '형태'는 여전히 비밀스럽게 기억하고 있을 수 있기 때문입니다. 만약 로봇이 정보의 '형태'를 계속 간직하고 있다면, 영악한 해커가 간단한 기술을 사용하여 그 비밀 정보를 재구성해 낼 수 있으며, 이는 삭제의 목적을 무력화합니다.

이 퍼즐을 해결하는 새로운 방법이 바로 DECAF(DE-Clustering for Adaptive Forgetting, 적응형 망각을 위한 디클러스터링)입니다. 이 연구의 저자들은 기존의 많은 방식이 책을 숨길 때 그저 표지를 뒤집어 놓는 것과 같다는 점을 발견했습니다. 책은 여전히 그 자리에 있고, 누구나 쉽게 그것이 무엇인지 알아낼 수 있습니다. 그들은 '언러닝' 후에도 로봇의 내부 두뇌(특징 공간)가 잊혀진 항목들을 마치 해체되지 않은 비밀 클럽처럼 깔끔하고 조밀한 클러스터로 여전히 그룹화하고 있다는 사실을 발견했습니다. 이를 해결하기 위해 그들은 단순히 로봇에게 정답을 말하지 말라고 명령하는 것이 아니라, 잊혀진 항목들에 대한 로봇의 내부 기억을 능동적으로 뒤섞어 정보가 진정으로 사라지게 만드는 영리한 기술인 DECAF를 만들어냈습니다.

문제점: 잊혀진 데이터의 "비밀 클럽"

저자들은 먼저 우리가 보통 로봇이 무언가를 잊었는지 어떻게 테스트하는지 살펴보았습니다. 일반적으로 우리는 로봇에게 잊어야 할 항목을 식별하도록 요청합니다. 만약 로봇이 틀린 답을 내놓으면, 우리는 "좋아, 잊었군!"이라고 말합니다. 하지만 연구진은 이 논리에 결함이 있다는 것을 발견했습니다. 로봇이 오답을 낼 때조차도, 로봇의 내부 두뇌는 여전히 그 잊혀진 항목들을 조밀하고 완벽한 하나의 그룹으로 조직하고 있을 수 있습니다.

당신이 섞여 있는 레고 브릭 상자를 가지고 있다고 상상해 보세요. 당신은 로봇에게 빨간색 브릭을 잊으라고 하고 싶습니다. 만약 당신이 단순히 로봇에게 "빨간색이라고 말하지 마"라고 한다면, 로봇은 그것을 빨간색이라고 부르는 것은 멈출지 모르지만, 마음속에서는 여전히 모든 빨간색 브릭이 별도의 더미로 깔끔하게 쌓여 있을 수 있습니다. 영리한 공격자는 그 더미를 보고 "아하! 이것들이 빨간색 브릭이구나!"라고 깨달을 수 있습니다. 연구진은 이를 **클러스터링 공격(clustering attack)**이라고 부릅니다. 그들은 많은 기존 방식이 잊혀진 데이터를 이러한 깔끔한 더미로 남겨두며, 이는 정보가 진정으로 지워진 것이 아니라 단지 혼란스러운 층 뒤에 숨겨져 있을 뿐임을 보여주었습니다.

해결책: DECAF의 3단계 마술

이를 해결하기 위해 팀은 로봇의 두뇌를 위한 혼란스러운 파티 플래너처럼 작동하는 방법인 DECAF를 제안했습니다. DECAF는 단순히 로봇에게 기억을 멈추라고 말하는 대신, 잊혀진 데이터의 "비밀 클럽"을 깨뜨리기 위해 세 가지 구체적인 기술을 사용합니다. 이 방법은 잊어야 할 데이터만을 필요로 하므로 매우 효율적입니다.

1. 노이즈 파티 (입력 섭동, Input Perturbation): 먼저, DECAF는 잊혀진 항목들의 이미지에 약간의 정전기나 "노이즈"를 추가합니다. 이것은 레고 브릭 위에 반짝이 가루를 뿌리는 것과 같습니다. 이것은 개별 브릭을 조금 다르게 보이게 만들고 로봇이 그것들을 인식하는 데 사용했던 깔끔한 패턴을 방해합니다. 이는 잊혀진 항목들이 서로 빽빽하게 모여 있는 것을 막아줍니다.
2. 신뢰도 하락 (타겟 억제, Target Suppression): 다음으로, 이 방법은 로봇에게 원래의 레이블에 대해 너무 확신하지 말라고 말합니다. 만약 로봇이 어떤 사진이 "고양이"라고 99% 확신했다면, DECAF는 로봇이 불확inc히 하도록 밀어붙입니다. 이는 특정 카테고리에 대한 로봇의 강한 연결을 약화시켜 기억을 덜 경직되게 만듭니다.
3. 산란 효과 (엔트로피 기반 출력 다양화, Entropy-Based Output Diversification): 마지막으로, 그리고 가장 중요한 부분은, DECAF가 로봇의 추측을 널리 퍼뜨리도록 강제한다는 것입니다. 잊혀진 항목들이 새로운 다른 그룹(예를 들어 "파란색" 브릭 더미)으로 붕괴되는 대신, DECAF는 로봇이 다양한 것들을 추측하도록 권장합니다. 이것은 로봇에게 "고양이인지 확실하지 않다면, 아마 개나 새 또는 자동차라고 추측할 수도 있지만, 그냥 '파란색'이라고 추측하지는 마!"라고 말하는 것과 같습니다. 이는 잊혀진 데이터가 전체 두뇌에 흩어져 다른 모든 것과 섞이게 하여 다시는 찾아낼 수 없도록 보장합니다.

결과: 기억을 뒤섞다

연구진은 ResNet-18 모델을 사용하여 CIFAR-10이라는 표준 데이터셋에서 DECAF를 테스트했습니다. 결과는 인상적이었습니다. 그들이 잊혀진 데이터의 "비밀 클럽"을 깨뜨리려 했을 때, DECAF는 믿을 수 없을 정도로 효과적이었습니다.

• 망각 능력: DECAF는 잊혀진 클래스의 정확도를 단 **0.10%**로 줄였습니다. 이는 로봇이 잊어야 할 항목을 거의 완전히 인식하지 못하게 되었음을 의미합니다.
• 유용한 정보 유지: 결정적으로, 이는 나머지 항목을 인식하는 로봇의 능력을 망가뜨리지 않았습니다. DECAF는 남은 데이터에 대해 **79.4%**의 정확도를 유지했으며, 이는 매우 높은 수치입니다.
• 종합 점수: 그들은 망각과 유용성 사이의 균형을 측정하기 위해 AUS(Aggregated Unlearning Score, 종합 언러닝 점수)라는 결합 점수를 사용했습니다. DECAF는 0.88점을 기록했는데, 이는 테스트한 다른 모든 방법보다 좋았으며, 심지어 로봇을 처음부터 다시 학습시키는 "골드 스탠다드(gold standard)" 방식(0.86점)보다도 약간 더 높았습니다.

아마도 가장 흥ло운 부분은 속도일 것입니다. 로봇을 처음부터 다시 학습시키는 데는 1113초(약 18분) 이상이 걸린 반면, DECAF는 단 9.55초 만에 작업을 수행했습니다. 또한 미세 조정(Fine-Tuning, 873초)이나 FCS(139초)와 같은 다른 인기 있는 방법들보다 훨씬 빨랐습니다.

이것이 왜 중요한가

이 연구는 단순히 로봇이 틀린 답을 내놓게 만드는 것만으로는 프라이버시를 보호하기에 충분하지 않다는 것을 시사합니다. 만약 로봇의 내부 두뇌가 여전히 잊혀진 데이터를 함께 그룹화하고 있다면, 그 데이터는 여전히 취약합니다. DECAF는 이러한 그룹을 능동적으로 깨뜨리고 정보를 흩뿌림으로써 언러닝을 훨씬 더 안전하게 만들 수 있음을 보여줍니다. 이는 데이터 프라이버시가 매우 중요한 실제 상황에서 실용적인 도구가 될 수 있는 가볍고 빠르며 효과적인 방법입니다. 연구진은 이 접근 방식이 원래의 훈련 데이터에 대한 접근 권한 없이도 잘 작동한다는 것을 발견했으며, 이는 현실 세계에서 매우 유용합니다.