Representational change under post-hoc edits mostly reflects relocation rather than destruction of information
이 논문은 사후 편집(post-hoc edits)에 의한 표현적 변화가 정보의 영구적인 파괴보다는 주로 새로운 좌표로의 정보 재배치임을 입증하며, 새로운 프로브(probes)를 통해 원래의 판독값(readouts)에서 소실된 것처럼 보이는 요인들을 종종 복구할 수 있고, 전체적인 정보 손실은 표현 붕괴(representational collapse)와 같은 극단적인 조건 하에서만 발생한다는 것을 보여준다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능의 세계에서 컴퓨터는 세상에 대한 내부 지도를 구축함으로써 학습한다. 시스템이 고양이나 숫자를 인식하도록 훈련될 때, 그것은 해당 대상에 대한 복잡하고 다차원적인 표현을 생성하며, 그 세부 사항들을 특정 숫자 배열 속에 저장한다. 과학자들은 이러한 시스템이 새로운 것을 배우도록 요청받거나, 연구자들이 특정 사실이나 편향을 제거하기 위해 기억을 편집하려고 할 때, 기존의 정보가 산산조각 날 수 있다는 점을 오랫동안 우려해 왔다. 지배적인 공포는 만약 내부 지도가 크게 변한다면, 원래의 데이터가 파괴되어 업데이트의 혼돈 속으로 영원히 사라질 것이라는 점이었다. 이러한 불안은 AI가 과거를 잊지 않고 적응하도록 돕거나, 해로운 연관성을 깨끗이 씻어내는 데 전념하는 분야인 '기계 언러닝(machine unlearning)'과 '지속 학습(continual learning)' 연구를 이끄는 동력이 되어 왔다. 핵심 질문은 언제나 이것이었다. 지도가 움직일 때, 보물은 여전히 그곳에 있는가, 아니면 파묻혀 버린 것인가?
노스 사우스 대학교(North South University)의 사지브 호세인(Sajib Hossain)이 수행한 최근 연구는 신중하고 통제된 조사를 통해 이러한 가설에 도전한다. 연구자는 컴퓨터의 내부 지도가 크게 변하는 것이 실제로 정보의 파괴를 의미하는지, 아니면 단순히 새로운 위치로 이동한 것인지를 테스트하기 위해 설정되었다. 답을 찾기 위해 연구팀은 정답(ground truth)이 알려진 디지털 테스트베드 세트를 사용했다. 그들은 크기, 위치, 형태와 같은 모든 변수가 완벽하게 정의된 단순 생성 도형 데이터셋으로 훈련된 모델로 시작했다. 그런 다음 연구진은 모델이 가진 잘못된 믿음을 수정하도록 강제하는 방식과, 특정 개념을 완전히 지우려고 시도하는 방식이라는 두 가지 다른 유형의 편집을 적용했다. 두 경우 모두, 연구진은 영리한 진단 도구를 사용하여 정보에 어떤 일이 일어나는지 관찰했다. 그들은 변경되지 않은 채 남겨진 예전 지도에서 훈련된 '동결된 판독기(frozen readout)'의 성능을, 새로운 (이동된) 좌표에서 처음부터 다시 훈련된 '새로운 판독기(fresh readout)'와 비교했다.
결과는 큰 변화가 곧 큰 손실을 의미한다는 일반적인 직관과 상반되는 패턴을 드러냈다. 대다수의 경우에서 동결된 판독기는 실패했는데, 이는 정보가 사라졌음을 시사했다. 그러나 새로운 좌표에서 훈련된 새로운 판독기는 정보를 거의 완벽하게 회복했다. 데이터는 파괴된 것이 아니라 재배치된 것이었다. 내부 지도는 이동하여 정보를 다른 숫자 집합으로 옮겼지만, 정보 자체는 온전하게 유지되었으며 완전히 접근 가능한 상태였다. 이 현상은 연구진이 필기 숫자나 물체 사진과 같은 더 복잡한 실제 이미지에 대해 개념을 테스트했을 때도 유효했다. 이러한 더 어려운 테스트에서 내부 지도는 훨씬 더 많이 움직였고 예전의 판독기는 더 심하게 망가졌지만, 새로운 판독기는 여전히 원래의 정확도를 회복해 냈다. 정보는 그 경로가 바뀌었을지라도 여정 속에서 살아남았다.
하지만 이 연구는 정보가 실제로 손실되는 정확한 조건 또한 식별해 냈다. 연구진은 지도가 움직이거나 시스템이 많은 모순을 배우도록 요구받는다고 해서 총체적인 파괴가 일어나는 것은 아님을 발견했다. 대신, 정보는 오직 내부 지도가 붕괴할 때만 손실된다. 이러한 붕ما은 시스템이 과도한 학습률(learning rate)로 인해 압박을 받아, 내부 숫자의 다양성과 확산이 사라질 때까지 축소될 때 발생한다. 이러한 특정한 고압적인 시나리오에서만 정보는 진정으로 사라진다. 하지만 내부 구조가 건강하고 다양하게 유지되는 한, 정보는 안전하며 단지 새로운 위치에서 발견되기를 기다리고 있을 뿐이다.
연구는 또한 정보를 어떻게 지우는지에 관한 미묘한 차이를 밝혀냈다. 연구진이 특정 개념을 제거하기 위해 수학적 기법을 사용했을 때, 그 개념이 단순한 선형 테스트로는 감지 불가능해졌음에도 불구하고, 더 복잡한 비선형 테스트로는 종종 회복 가능하다는 것을 발견했다. 이는 정보가 삭제된 것이 아니라 더 복잡한 배열 속에 숨겨진 것임을 시사한다. 흥미롭게도, 이러한 부분적 손실은 균일하지 않았으며, 타겟이 되는 정보의 구체적인 유형에 크게 의존했다. 예를 들어, 실험에서 물체의 크기에 대한 정보는 형태나 위치에 대한 정보보다 이러한 부분적 손실에 더 취약했다. 또한 연구진은 지도의 변화 크기가 정보 손실량의 좋은 지표가 되지 못한다는 사실을 발견했다. 거대한 변화가 정보를 완벽하게 온전하게 남길 수도 있고, 아주 작은 변화가 시스템의 건강한 내부 구조에 따라 때때로 완전한 붕괴를 동반할 수도 있다.
이러한 발견은 인공지능 시스템이 어떻게 진화하고 편집될 수 있는지에 대한 새로운 이해를 제공한다. 이 연구는 시스템의 내부 표현이 변할 때, 기존 지식이 사라졌다고 가정해서는 안 된다고 제안한다. 대신, 초점은 시스템의 내부 구조의 건강성을 확인하고, 새로운 관점으로 정보를 회복할 수 있는지 테스트하는 것으로 옮겨져야 한다. 이 연구는 시스템이 붕괴 지점까지 몰리지 않는 한, '파괴적 망각(catastrophic forgetting)'이나 언러닝의 어려움에 대한 많은 우려가 과장되었을 수 있음을 시사한다. 또한 이는 민감한 데이터를 AI 모델에서 제거하려는 이들에게 경고의 메시지를 전달한다. 단순한 테스트로 특정 개념을 찾을 수 없다고 해서 그것이 제거되었다는 뜻은 아니다. 정보는 여전히 그곳에 있으며, 재배치되어 더 정교한 탐사 도구에 의해 재발견되기를 기다리고 있을 수 있다. 궁극적으로, 이 연구는 이동이 곧 손실은 아니며, AI 메모리의 안정성은 얼마나 많이 변하느냐보다 내부 토대가 얼마나 건실하게 유지되느냐에 달려 있다는 점을 명확히 한다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.