When Blocks Outlive Tasks: Three Safeguards for Task-ID-Free Routing in Growing Continual Learners
이 논문은 블록이 개별 태스크보다 오래 지속되는 성장형 지속 학습(growing continual learners)에서 강건한 태스크 식별 불필요 라우팅(task-identity-free routing)을 가능하게 하기 위해, 이전 기간의 재현(replaying earlier periods), 블록 동결 시 라우터 상태 기록(recording router states at block freeze), 그리고 동결된 블록 통계의 덮어쓰기 방지(preventing overwrites of frozen block statistics)라는 세 가지 구체적인 안전장치를 제안하고 검증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
매년 식물학부터 천체물리학까지 새로운 주제를 배워야 하지만, 이전 해에 배웠던 교훈을 결코 잊지 않아야 하는 한 학생을 상상해 보십시오. 인공지능의 세계에서 이것은 지속 학습(continual learning)이라는 과제입니다. 이를 해결하기 위해 연구자들은 종종 이미 배운 것을 보호하기 위해 기존 부분은 동결한 채, 새로운 주제를 위해 뇌의 새로운 부분을 만들어내는 시스템을 구축합니다. 이 방식은 시스템이 자신이 어떤 주제에 대해 테스트를 받고 있는지 정확히 알고 있을 때 잘 작동하는데, 단순히 자신의 뇌에서 적절한 동결된 구역을 선택하기만 하면 되기 때문입니다. 하지만 현실 세계에서 AI는 해당 질문이 어떤 주제에 속하는지 알려주는 라벨 없이 질문을 마주하는 경우가 많습니다. AI는 자신의 커져가는 마음 중 어느 부분이 답을 가지고 있는지 스스로 파악해야 합니다. 이것이 바로 태스크 프리 라우팅(task-free routing)의 수수께끼입니다. 즉, 시스템이 질문이 무엇에 관한 것인지 모를 때 어떻게 질문을 올바른 기억 저장소로 보내느냐는 문제입니다.
AI의 성장이 완벽하게 예정되어 있지 않을 때 문제는 훨씬 더 어려워집니다. 많은 고급 시스템에서는 하나의 뇌 구역이 최종적으로 동결되어 따로 분리되기 전까지 여러 해 동안 연속해서 학습할 수 있습니다. 그 몇 년 동안 해당 구역은 변화하고 진화합니다. 만약 시스템이 그 구역이 더 어렸을 때 무엇을 알고 있었는지 기억하려고 시도한다면, 현재 버전의 구역과 더 이상 일치하지 않는 기억을 들여다보고 있는 것일 수도 있습니다. 게다가, 시스템이 새로운 데이터로 계속 학습을 계속하면, 오래된 구역들에 대해 작성했던 메모를 실수로 덮어써 버려, 특정 질문에 어떤 마음의 부분이 가장 적합한지에 대한 기록을 잃어버릴 수 있습니다. 이러한 변화하는 기억을 다룰 방법이 없다면, AI는 길을 잃고 질문을 엉뚱한 전문가에게 보내며 학습에 실패하게 됩니다.
인도 국립 공과대학교(IIT) 담단(ISM)의 연구팀은 바로 이 특정 문제를 해결하기 위해 나섰습니다. 그들은 단일 학습 블록이 잠겨 고정되기 전까지 여러 시간 동안 지속될 수 있는 단계별 학습 시스템을 키우는 데 집중했습니다. 그들은 이 블록들이 원래의 과업보다 더 오래 지속될 때 라우팅 시스템이 올-바르게 작동하도록 유지하기 위해 반드시 따라야 하는 세 가지 핵심 규칙, 즉 안전장치를 식별했습니다. 첫 번째 규칙은 활성 학습 블록이 새로운 것을 배우는 동안에도 이전에 보았던 데이터의 작고 일시적인 복사본을 유지해야 한다는 것입니다. 이는 블록이 마침내 동결되었을 때, 최근의 교훈뿐만 아니라 전체 이력에 대한 완전한 기록을 가질 수 있도록 보장합니다. 두 번째 규칙은 시스템이 블록에 대한 최종 노트를 오직 그 블록이 동결되는 바로 그 순간에만 작성해야 한다는 것입니다. 만약 시스템이 나중에 이 노트를 업데이트하려고 시도한다면, 그 설명은 블록의 최종 상태와 더 이상 일치하지 않게 될 것입니다. 세 번째 규칙은 일단 블록이 동결되면, 시스템은 새로운 학습 데이터가 그 블록에 대해 작성한 노트를 절대 덮어쓰지 못하게 해야 한다는 것입니다. 노트는 변경할 수 없는 상태로 보존되어 정확히 그대로 유지되어야 합니다.
이 규칙들이 정말 필요한지 테스트하기 위해, 연구진은 동일한 실험을 약간 다른 무작위 시작점에서 열 번 실행하는 것과 같은 방식인 열 개의 컴퓨터 시드(seed)를 통해 일련의 엄격한 실험을 수행했습니다. 그들은 단순한 이미지 인식부터 복잡한 언어 이해에 이르기까지, AI 성능을 측정하는 데 사용되는 표준 데이터 세트인 다섯 가지 벤치마크를 대상으로 테스트했습니다. 19개의 특정 테스트에서, 시스템은 세 가지 안전장치가 모두 갖춰졌을 때가 그중 하나라도 제거되었을 때보다 유의미하게 더 높은 성능을 보였습니다. 첫 번째 규칙을 제거했을 때, 시스템은 기록을 저장하기도 전에 자신의 과거 교훈을 잊었습니다. 두 번째를 제거했을 때, 블록에 대해 작성한 노트는 낡고 부정확해졌습니다. 세 번째를 제거했을 때, 오래된 블록에 대한 시스템의 기억이 새로운 데이터에 의해 덮어씌워져 길을 잃었습니다. 유일한 예외는 특정 유형의 뒤섞인 이미지 데이터에 대한 단 하나의 테스트였는데, 여기서는 두 번째 규칙이 거의 아무런 차이를 만들지 않았으며, 이는 모든 유형의 데이터가 모든 규칙을 동일한 정도로 필요로 하는 것은 아님을 시사했습니다.
연구진은 또한 동일한 학습 블록의 서로 다른 버전들 사이에서 시스템이 어떻게 선택하는지에 대해 놀라운 사실을 발견했습니다. 때때로 블록은 수정되어 이전 버전과 새로운 버전을 생성합니다. 연구진은 단지 그 두 버전을 서로 비교할 때 "가장 유능한" 버전을 선택하도록 설계된 방법이 잘 작동한다는 것을 발견했습니다. 그러나 그와 동일한 방법을 사용하여 전체 시스템 내의 모든 블록 중에서 선택하려고 했을 때, 그것은 오히려 시스템을 악화시켰습니다. 그 방법은 해당 질문의 실제 주인이 아닌 수정된 버전들이 약간 더 높은 점수를 가졌다는 이유만으로 질문을 그쪽으로 끌어당기는 경향이 있었습니다. 이는 작은 국소적 결정에는 효과적인 신호가 전체 시스템에 적용될 때는 해로울 수 있다는 점을 가르쳐 주었습니다.
이러한 성공에도 불구하고, 연구는 한계점을 드러냈습니다. 안전장치를 갖추고 라우팅이 완벽하게 작동하더라도, 성장하는 시스템은 전혀 성장하지 않는 다른 유형의 AI를 이길 수 없었습니다. 그들이 사용한 고정된 특징(frozen features)에 대해, RanPAC라고 불리는 비성장형 시스템이 모든 라우팅된 성장형 뱅크보다 일관되게 더 우수한 성능을 보였습니다. 이는 성장을 위한 메커니즘이 정적인 시스템이 할 수 없는 새로운 것을 학습함으로써 자신의 가치를 증명해야 함을 시사합니다. 연구진은 자신들의 연구가 태스크 라벨 없이 성장하는 시스템을 작동시키기 위한 필수적인 토대를 제공하지만, 성장이 항상 옳은 길인지에 대한 더 큰 질문은 여전히 열려 있다고 결론지었습니다. 안전장치는 라우팅이 무너지는 것을 방지하지만, 성장하는 학습자가 반드시 그 방 안에서 가장 똑똑한 존재가 될 것임을 보장하지는 않습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.