Optimal information deletion and Bayes' theorem

마치 거대한 스튜를 막 요리한 셰프가 되어보십시오. 당신은 재료로 가득 찬 냄비 (데이터) 와 그것들이 어떻게 함께 맛을 내는지 알려주는 특정 레시피 (모델) 를 가지고 있습니다. 이 최종의 맛 프로필은 **후행 분포 (Posterior Distribution)**입니다. 즉, 요리를 다 맛본 후 알게 된 모든 것을 보여주는 완전한 그림입니다.

이제 한 손님이 "만약 그 특정 한 꼬집의 매운 후추를 넣지 않았다면, 이 스튜는 어떤 맛이 났을까요?"라고 묻는다고 상상해 보십시오.

보통 셰프는 이 질문에 답하기 위해 "아이고, 냄비 전체를 버리고 신선한 재료로 시작해 후추 없이 처음부터 다시 요리해야겠구나"라고 생각할 것입니다. 이는 느리고, 비싸며, 낭비적인 일입니다.

한스 몬초 (Hans Montcho) 와 하바드 루 (Håvard Rue) 가 쓴 이 논문은 다른 질문을 던집니다: 완성된 스튜에서 그 한 가지 후추의 맛을 다시 요리하지 않고도 즉시 제거할 수 있게 해주는 수학적 "마법"이 있을까요?

큰 아이디어: 학습 (Learning) 대 비학습 (Unlearning)

저자들은 통계학자 아놀드 젤너 (Arnold Zellner) 가 1988 년에 제시한 유명한 아이디어를 재조명합니다. 젤너는 베이지안 정리 (Bayes' Theorem)(믿음을 업데이트하기 위한 유명한 수학 공식) 가 새로운 정보를 추가하는 가장 효율적인 방법임을 증명했습니다. 이는 현재의 지식을 바탕으로 새로운 데이터를 잃어버리거나 invented 하지 않고 완벽하게 섞어 넣는 최적의 방법입니다.

이 새로운 논문은 이 관점을 뒤집습니다. 정보를 추가하는 대신, 삭제하는 것에 초점을 맞춥니다. 저자들은 이를 "베이지안 비학습 (Bayesian Unlearning)"이라고 부릅니다.

그들은 "최적의 정보 삭제 규칙 (Optimal Information Deletion Rule)"을 찾고자 했습니다. 쉽게 말해, "어떤 데이터가 존재하지 않았을 때 모델이 어떻게 보였을지 정확히 남기면서, 완성된 모델에서 데이터 조각 하나를 빼내는 가장 완벽하고 효율적인 방법은 무엇인가?"라고 질문한 것입니다.

"마법은 없고, 수학만 있다"는 발견

저자들은 테스트를 설정했습니다. 그들은 "정보 손실 (Information Loss)"을 지금 알고 있는 것 (완전한 스튜) 과 알고 싶은 것 (후추 없는 스튜) 의 차이로 정의했습니다. 그들은 소금까지 실수로 제거하거나 거기에 없던 새로운 맛을 invented 하지 않고 후추의 맛만 삭제하는 규칙을 찾고자 했습니다.

그들은 이를 수행하는 절대적인 최선의 방법을 찾기 위해 정교한 수학 도구 (변분법, variational calculus) 를 사용했습니다.

결과:
정보를 삭제하는 "완벽한" 방법은 정보를 추가하는 "완벽한" 방법과 정확히 동일한 수학 공식임이 드러났습니다.

모델에서 특정 데이터 조각을 제거하고 싶다면, 새롭고 복잡한 마법이 필요하지 않습니다. 단순히 베이지안 정리를 역으로 적용하면 됩니다.

"완벽한 지우개"의 비유

통계적 모델을 그림으로 생각하십시오.

• 학습 (데이터 추가): 새로운 선을 그립니다. 이를 수행하는 최선의 방법은 그림이 사실적으로 보이도록 원근법의 규칙을 따르는 것입니다.
• 비학습 (데이터 삭제): 그 선을 지우고자 합니다.

이 논문은 "완벽한 지우개"가 "완벽한 연필"과 정확히 동일한 도구임을 증명합니다. 데이터를 "추가하지 않기 위해" 베이지안 정리의 표준 규칙을 사용하면, 처음부터 그 선을 그리지 않았을 때와 정확히 동일한 결과를 얻게 됩니다.

저자들은 이를 요약하기 위해 유명한 과학자 라부아지에 (Lavoisier) 의 말을 인용합니다: "베이지안 학습이나 비학습에서, 정보는 창조되지 않으며, 정보는 손실되지도 않습니다. 정보는 단지 변환될 뿐입니다."

왜 이것이 중요한가 (논문에 따르면)

이 논문은 두 가지 주요 교훈을 강조합니다:

1. 대칭성: 베이지안 정리는 양방향 도로임을 증명합니다. 이는 정보를 추가하는 것 (학습) 과 정보를 제거하는 것 (비학습) 모두에 대한 최적의 규칙입니다. 어느 방향으로 가든 상관없습니다. 수학은 양방향 모두에서 완벽합니다.
2. 효율성: 데이터를 삭제하는 "완벽한" 방법이 특정 계산에 불과하다는 것을 알았기 때문에, 이제 더 빠른 근사치를 구축할 수 있습니다. 거대한 컴퓨터 모델을 처음부터 다시 훈련시키는 것 (전체 스튜를 다시 요리하는 것과 같음) 대신, 이 수학을 사용하여 특정 데이터가 없을 때 모델이 어떻게 보이는지 빠르게 추정할 수 있습니다. 이는 "교차 검증 (Cross-Validation)"(일부 데이터가 존재하지 않는다고 가정하여 모델의 성능을 테스트하는 것) 이나 "데이터 삭제 (Data Deletion)"(개인정보 보호를 위해 모델에서 사용자의 데이터를 제거하는 것) 와 같은 용도에 유용합니다.

요약

간단히 말해, 이 논문은 데이터를 "비학습"하기 위해 새로운 발명이 필요하지 않다는 수학적 증명입니다. 새로운 사실로부터 학습하는 데 도움을 주는 그 고대적이고 완벽한 공식 (베이지안 정리) 이 바로 오래된 사실을 완벽하게 잊게 해줍니다. 이는 문을 여는 열쇠가 잠그는 데 사용된 열쇠와 정확히 동일하다는 것을 발견한 것과 같습니다. 단지 반대 방향으로 돌리면 될 뿐입니다.