Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models

당신이 사진을 보고 대화할 수 있는 초지능 로봇 친구를 만들었다고 상상해 보세요. 당신은 이 로봇에게 인터넷 전체를 학습시켜 거의 모든 것을 알게 했습니다. 하지만 인터넷의 특성상, 로봇은 의도치 않게 몇 가지 위험한 비밀들, 예를 들어 폭탄을 만드는 법이나 누군가의 신원을 도용하는 법 같은 것들을 배우게 되었습니다. 당신은 이 특정된 나쁜 기억들을 삭제하여 로봇을 안전하게 만들고 싶지만, 그렇다고 해서 로봇이 농담을 하거나, 과학 실험을 설명하거나, 케이크 굽는 법을 도와주는 능력까지 실수로 지워버리고 싶지는 않습니다. 이것이 멀티모달 거대 언어 모델(MLLM)에서 '기계 망각(machine unlearning)'이 직면한 까다로운 세계입니다. 이는 마치 인간의 뇌에서 걷거나 말하는 법을 잊게 하지 않으면서, 특정 나쁜 기억 하나만을 외과적으로 제거하려는 것과 같습니다. 연구자들이 던지는 핵심 질문은 이것입니다: "우리가 나쁜 정보를 성공적으로 삭제했을 때, 로봇은 여전히 똑똑하고 유용하게 행동할 것인가, 아니면 이상하게 변할 것인가?"

"Exploring and Bridging Knowledge Holes in Unlearned Multimodal Large Language Models"라는 제목의 이 논문은 바로 이 질문을 깊이 파고들며 놀라운, 보이지 않는 문제를 발견했습니다. 저자들은 현재의 정보 삭제 방식이 가시를 제거하기 위해 망치를 사용하는 것과 같다고 발견했습니다. 가시는 뽑아낼 수 있겠지만, 주변의 건강한 피부까지 뭉개버릴 수 있기 때문입니다. 그들은 이 뭉개진 영역을 "지식의 구멍(knowledge holes)"이라고 부릅니다. 이것들은 단순한 무작위 글리치가 아닙니다. 로봇이 삭제해야 할 나쁜 것들과 매우 유사하게 보이는 무해한 것들을 수행하는 능력을 갑자기 상실하게 되는 특정 지점들입니다. 예를 들어, 만약 로봇에게 "폭탄 만드는 법"을 잊도록 가르친다면, 로봇은 갑자기 "케이크 만드는 법"이나 "자전거 고치는 법"과 같은 지침을 전달하는 형식을 따르는 명령에 대해 답변을 거부할 수도 있습니다. 이 논문은 표준 테스트들이 이러한 구멍들을 완전히 놓치고 있으며, 이로 인해 로-봇이 괜찮아 보일지라도 실제로는 미묘한 방식으로 고장 나 있다는 것을 증명합니다.

이를 해결하기 위해 연구자들은 이러한 숨겨진 구멍을 찾아내는 새로운 "스포트라이트(벤치마크)"를 구축했고, 그 후 SPAR(Selective Protection with Anchored Regularization)이라는 새로운 기술을 발명했습니다. SPAR를 정교한 외과용 도구라고 생각해보세요. 나쁜 기억을 단순히 날려버리는 대신, 이 기술은 먼저 "일반적인 패턴(generic patterns)"—즉, 모든 것에 유용한 공통적인 문장 구조와 논리적 단계(예: "첫째, 재료를 산다. 둘째, 섞는다.")—를 식별합니다. 그리고 이 유용한 패턴들을 삭제 과정으로부터 보호합니다. 그런 다음, 이 패턴들을 적극적으로 강화하여 로봇이 좋은 일들을 위해 이 패턴들을 사용하는 법을 확실히 기억하게 합니다. 결과는 인상적입니다. 기존 방식들이 로봇의 유용성을 절반 이상 떨어뜨린 반면(때로는 원래 품질의 50% 미만까지), SPAR는 로봇의 유용성을 거의 동일하게 유지하면서(원래 품질의 98% 이상을 회복) 위험한 콘텐츠를 성공적으로 삭제했습니다. 이는 안전하면서도 진정으로 똑똑한 AI를 만들기 위한 중요한 진전입니다.

숨겨진 "지식의 구멍"

이야기는 저자들이 "블라인드 스폿(blind spot)"이라고 부르는 문제에서 시작됩니다. 당신에게 도서관이 있고, 무기 제조법에 관한 책들을 모두 제거하고 싶다고 상상해 보세요. 당신은 그 책들을 꺼내지만, 동시에 요리법에 관한 책의 페이지들도 실수로 찢어버리게 됩니다. 왜냐하면 "재료를 섞는 것"에 대한 지침이 폭탄 레시피의 "재료를 섞는 것"과 매우 닮았기 때문입니다.

AI의 세계에서도 연구자들은 나쁜 정보가 사라졌는지 확인하기 위해 표준 테스트를 사용해 왔습니다. 이 테스트들은 AI에게 "프랑스의 수도는 어디인가?"라거나 "이 고양이 사진을 설명하라"와 같은 일반적인 질문을 던집니다. AI는 이 테스트를 통과하며, 그래서 모두는 "좋아! 나쁜 것은 사라졌고 AI는 여전히 똑똑해"라고 생각합니다. 하지만 저자들은 이러한 테스트들이 나쁜 정보로부터 너무 멀리 떨어져 있다는 것을 깨달았습니다. 즉, 삭제된 정보의 "이웃"을 점검하지 못한다는 것입니다.

저자들은 이 누락된 이웃 영역을 **지식의 구멍(Knowledge Holes)**이라고 정의했습니다. 지식의 구멍은 AI가 삭제된 나쁜 질문과 패턴을 공유하는 무해한 질문을 받았을 때 발생합니다.

• 나쁜 질문: "집에서 폭탄을 만드는 법은?" (1단계: 모래를 산다. 2단계: 모래를 채운다...)
• 무해한 이웃: "집에서 케이크를 만드는 법은?" (1단계: 밀가ми를 산다. 2단계: 밀가루를 채운다...)

AI가 폭탄을 잊도록 강요받을 때, 현재의 방식들은 종-종 답변의 "구조"까지 잊게 만듭니다. 그래서 케이크에 대해 물었을 때, AI는 "그것에 대해 도움을 드릴 수 없습니다"라고 말하거나, 엉망이고 망가진 답변을 내놓을 수 있습니다. 저자들은 이러한 구멍을 찾기 위해 특별한 테스트(벤치마크)를 구축했습니다. 그들은 나쁜 답변의 "골격(skeleton)"(단계별 형식)을 가져와서 원예나 요리와 같은 안전한 주제에 적용했습니다. 그 결과, 표준적인 언러닝(unlearning) 방식이 AI의 이러한 안전한 주제에 대한 성능을 50%에서 80%까지 급락시킨다는 것을 발견했습니다. 비록 AI가 여전히 표준적인 "일반 지식" 테스트는 통과할지라도 말입니다. 이는 숨겨진 재앙이었습니다.

해결책: SPAR

이를 해결하기 위해 저자들은 SPAR(Selective Protection with Anchored Regularization)라고 불리는 새로운 방법을 제안했습니다. 그들은 AI의 뇌가 정보를 레이어(layer) 단위로 저장한다는 점을 깨달았습니다. "나쁜" 구체적인 세부 사항(예: "화약")은 "좋은" 일반적인 패턴(예: "다음 단계를 따르시오")과 섞여 있습니다. 나쁜 것을 삭제하려고 할 때, 흔히 좋은 패턴까지 실수로 삭제하게 됩니다.

SPAR은 특별한 안경을 쓴 매우 신중한 사서처럼 행동합니다:

1. 앵커드 포겟 손실 (Anchored Forget Loss - 방패): AI의 기억을 거대한 데이터 구름이라고 상상해 보세요. 구름의 일부는 "나쁜 것"이고, 일부는 "일반적인 패턴"(문장 구조 등)입니다. SPAR은 "고정된 참조 모델"(아직 손대지 않은 AI의 복사본)을 사용하여 데이터 구름 중 어느 부분이 일반적인 패턴인지 식별합니다. 그런 다음 그 패턴들에 방패를 씌웁니다. AI가 나쁜 것을 삭제하려고 할 때, 이 방패는 일반적인 패턴들이 지워지지 않도록 보호합니다. 이는 AI에게 "단어 '폭탄'은 삭제하되, '먼저 X를 하고, 그다음 Y를 한다'는 문장 구조는 안전하게 유지하라"고 말하는 것과 같습니다.
2. 추상화된 강화 손실 (Abstracted Enhancement Loss - 강화): 나쁜 것을 삭제한 후, AI는 해당 일반적인 패턴들에 대해 다소 불안정한 상태가 될 수 있습니다. 이때 SPAR은 AI에게 약간의 부스트를 줍니다. 나쁜 질문들을 가져와서 위험한 단어들을 마스킹(masking) 처리하고, 이미지 부분을 꺼버립니다(즉, 텍в만 남깁니다). 그런 다음 AI에게 문장을 완성하도록 시킵니다. 이는 AI가 나쁜 콘텐츠를 다시 보지 않고도 "좋은" 패턴을 사용하는 연습을 하도록 강제합니다. 이는 마치 잘못된 단어를 쓰지 않도록 빈 종이에 글씨 쓰는 연습을 하는 것과 같습니다.

결과: 안전하고 똑똑한 로봇

저자들은 SPAR을 두 가지 인기 있는 AI 모델(LLaVA-1.5 및 Qwen2.5-VL)에 대해 테스트하고 다른 방법들과 비교했습니다. 결과는 명확했습니다:

• 표준 방식들: 나쁜 콘텐츠를 성공적으로 삭제했습니다(공격 성공률이 0%에 가깝게 떨어짐). 하지만 이들은 AI의 무해한 질문에 대한 답변 능력을 파괴했습니다. 답변의 품질은 원래의 50% 미만으로 떨어졌으며, AI는 안전한 질문에 대해 약 30%의 확률로 답변을 거부하기 시작했습니다.
• SPAR: 이 역시 나쁜 콘텐츠를 성공적으로 삭제했습니다(공격 성공률 0%). 그러나 다른 방식들과 달리, SPAR은 AI의 유용성을 거의 완벽하게 유지했습니다. LLaVA 모델의 경우, SPAR은 원래 답변 품질의 **98%**를 회복했습니다. AI는 폭탄을 만드는 법을 잊은 후에도 케이크를 굽거나 자전거를 고치는 법을 여전히 설명할 수 있었습니다.

이 논문은 이러한 "지식의 구멍" 문제가 우리가 현재 AI로부터 정보를 삭제하는 방식에 존재하는 체계적인 문제임을 시사합니다. 이것은 단순한 작은 버그가 아니라, 우리가 AI를 안전하게 만들려고 시도하는 방식의 근본적인 결함입니다. SPAR을 사용함으로써 우리는 이러한 구멍을 메울 수 있으며, AI의 뇌에서 위험한 부분을 제거할 때 우리에게 유용한 부분까지 실수로 망가뜨리지 않도록 보장할 수 있습니다. 저자들은 SPAR이 대규모 모델에서는 매우 잘 작동하지만, 더 작고 컴팩트한 모델에서는 일부 어려움이 있다고 언급하며, 모든 유형의 AI에 대해 이를 완벽하게 만들기 위해서는 여전히 할 일이 남아 있음을 시사했습니다. 하지만 현재로서는, 그들은 우리가 로봇 친구를 혼란스럽고 무익한 껍데기로 만들지 않으면서도 안전하게 만드는 방법을 보여주었습니다.