매우 똑똑하지만 아주 이상한 기억력 문제를 가진 한 학생을 상상해 보세요. 이 학생은 새로운 주제를 배우는 순간, 이전에 알았던 모든 것을 즉시 잊어버립니다. 만약 역사를 공부한다면, 수학 방정식을 푸는 법을 잊어버릴 수도 있습니다. 만약 기타 연주를 배우면, 모국어로 말하는 법을 잊어버릴 수도 있습니다. 이것은 단순히 인간 생물학의 특이한 점이 아니라, 오늘날 우리가 만드는 인공지능(AI) 시스템의 큰 골칫거리입니다. 머신러닝의 세계에서 이 현상은 "파괴적 망각(catastrophic forgetting)"이라고 불립니다.

보통 우리가 AI에게 새로운 과제를 가르칠 때는, 이미 알고 있는 것을 상기시키기 위해 과거 레슨의 예시들을 보여줍니다. 하지만 만약 그렇게 할 수 없다면 어떨까요? 만약 개인정보 보호법이나 엄격한 메모리 제한 때문에 AI가 이전 레슨의 사진, 문서 또는 데이터를 저장하는 것이 금지되었다면 어떻게 될까요? AI는 과거의 참조 자료를 돌아볼 수 없는 상태에서 새로운 것을 실시간으로 배우면서도 기존의 기술을 유지해야 할 것입니다. 이것이 바로 "엑셈플러 프리(exemplar-free, 예시 없는)" 도전 과제입니다. 현재 대부분의 AI 방법론은 과거의 데이터로부터 수학적 신호(그레디언트/기울기)를 사용해 복잡한 계산을 수행하여 이를 해결하려 하지만, 과거의 데이터가 없는 상황에서는 이러한 신호가 존재하지 않습니다.

이 문제를 해결하기 위해 규칙을 완전히 무시하는 새로운 접근 방식인 EvoCL이 등장했습니다. EvoCL은 그레디언트를 사용하여 완벽한 수학적 경로를 계산하는 대신, 자연에서 영감을 얻은 방법인 '진화(evolution)'를 사용합니다. 이것은 마치 AI가 자신과 약간씩 다른 버전의 전체 인구(population)를 만들어내고, 그들을 모두 테스트하고, 가장 좋은 것들을 남긴 뒤, 이를 서로 섞어서 훨씬 더 나은 다음 세대를 만들어내는 "정답 맞히기 게임"과 같습니다. 이는 과거의 데이터를 돌아볼 필요도, 일반적인 수학적 신호를 사용할 필요도 없는 학습 방식입니다.

문제점: AI의 건망증

뉴럴 네트워크(현대 AI의 뇌와 같은 구조)의 세계에는 지속적인 공포가 존재합니다. 네트워크에 새로운 것을 가르칠 때, 기존의 지식을 덮어쓰는 경향이 있다는 것입니다. 이는 마치 공책에 새 장을 쓰는 것과 같지만, 잉크가 너무 강해서 이전 페이지들을 지워버리는 것과 같습니다. 이를 막기 위해 대부분의 과학자들은 "역전파(backpropagation)"라고 불리는 기술을 사용합니다. 이는 네트워크의 설정을 미세하게 조정하여 과거와 현재의 정보를 모두 기억하도록 하는 정교한 방법입니다.

그러나 이 방법은 "엑셈플러 프리" 시나리오에서 벽에 부딪힙니다. 이는 개인정보 보호 문제나 메모리 제한으로 인해 AI가 과거 과제의 원시 데이터를 저장할 수 없는 설정입니다. 과거의 데이터가 없으면, AI는 과거 과제에 필요한 수학적 신호(그레디언트)를 계산할 수 없습니다. 이는 마치 옛날 부품들의 설계도를 전혀 보지 못한 채 자동차 엔진을 고치려는 것과 같습니다. 그 결과, AI는 기존의 기술에서 멀어지며 빠르게 망각하게 됩니다.

해결책: 방정식 대신 진화

Grzegorz Rypeść가 이끄는 저자들은 근본적인 변화를 제안합니다. AI에게 찾을 수 없는 그레디언트를 강제로 계산하게 하는 대신, **진화 전략(Evolution Strategy, ES)**을 사용할 것을 제 제안합니다.

당신이 숨겨진 보물을 찾기 위해 짙은 안개가 낀 숲속에서 최적의 경로를 찾으려고 한다고 상상해 보세요.

• 기존 방식 (경사 하강법/Gradient Descent): 당신은 보물을 향해 "내려가는" 방향이 어디인지 알아내기 위해 발밑의 지면 기울기를 정확히 계산하려고 합니다. 하지만 안개 속(데이터가 없는 상황)에서는 지면을 볼 수 없으므로, 계산이 틀리게 되고 길을 잃게 됩니다.
• EvoCL 방식 (진화 전략/Evolutionary Strategy): 계산하는 대신, 탐험가 팀(AI 모델의 인구)을 보냅니다. 각 탐험가는 조금씩 다른 경로를 택합니다. 그중 누가 가장 많은 보물을 찾았는지(최고의 성능) 확인합니다. 그런 다음, 가장 뛰어난 두 명의 탐험가를 데려와서 그들의 경로를 섞고(교차/crossover), 약간의 무작위 방황(변이/mutation)을 더해 더 개선된 새로운 탐험가 팀을 만듭니다. 이 과정을 완벽한 경로를 찾을 때까지 반복합니다.

이 방법은 과거의 "기울기"를 알 필요가 없습니다. 단지 어떤 솔루션이 다른 솔루션보다 더 나은지를 알면 됩니다.

EvoCL의 작동 원리: 마법의 어댑터

한 가지 까다로운 점이 있습니다. 과거의 데이터가 없는데 AI가 어떻게 새로운 경로가 과거의 과제에도 좋은 경로인지 알 수 있을까요?

EvoCL은 **잠재 버퍼(Latent Buffer)**와 **어댑터 네트워크(Adapter Network)**를 사용하는 영리한 트릭을 사용합니다.

1. 메모리 뱅크: 과제를 마친 후, AI는 원시 이미지나 텍스트를 저장하지 않습니다. 대신, 자신이 배운 내용의 작고 압축된 요약본(이를 "잠재 특징/latent features"라고 함)을 저장합니다. 이는 그림 자체를 저장하는 것이 아니라 그림의 스케치를 저장하는 것과 같습니다. 공간을 매우 적게 차지하며 프라이버시를 보호합니다.
2. 번역기 (어댑터): AI가 새로운 과제를 배움에 따라 내부의 "언어"가 변합니다. 과거 시절의 스케치는 새로운 맥락에서 이해되지 않을 수 있습니다. 그래서 EvoCL은 그 오래된 스케치들을 새로운 언어로 변환해 줄 작고 일시적인 번역기(어댑터 네트워크)를 훈련시킵니다.
3. 시뮬레이션: AI는 이 번역된 스케치들을 가져와서 마치 실제 과거 데이터인 것처럼 가정합니다. 그리고 이 스케치들을 바탕으로 "가짜" 손실(오차의 척도)을 계산합니다. 이를 통해 진화 알고리즘은 새로운 설정이 현재의 과제와 "시뮬레이션된" 과거 과제 모두에 도움이 되는지 테스트할 수 있습니다.

실험 결과

연구진은 간단한 손글씨 숫자(MNIST)부터 복잡한 비행기 이미지(FGVCAircraft), 그리고 서로 다른 도메인(DomainNet)에 이르는 여러 표준 데이터셋에 대해 EvoCL을 테스트했습니다. 그들은 이 문제를 해결하려는 기존의 가장 우수한 방법들과 비교했습니다.

결과는 유망했습니다. EvoCL은 일관되게 경쟁자들을 능가했습니다.

• MNIST(손글씨 숫자) 데이터셋에서, EvoCL은 3개의 과제를 동시에 학습할 때 **92.3%**의 최종 정확도를 달s성하며 차세대 최고의 방법론을 상당한 차이로 앞질렀습니다.
• 더 어려운 FashionMNIST(의류 이미지)에서도 **77.2%**의 정확도를 기록하며 다시 한번 선두를 차지했습니다.
• 복잡한 CIFAR100(100가지 객체 클래스)에서도 EvoCL은 **24.8%**의 정확도를 달성하며 앞서 나갔으며, 이는 다른 방법들에 비해 명확한 개선입니다.

또한 연구진은 그레디언트가 없을 때 진화적 방법이 실제로 표준 수학적 방법(SGD)보다 나은지 확인하기 위해 특정 테스트를 수행했습니다. 그들은 표준 방식이 처참하게 실패하여 AI가 거의 모든 것을 잊어버리게 만든 반면(일부 사례에서 정확도가 약 **14%**로 떨어짐), EvoCL은 강력한 성능을 유지한다는 것을 발견했습니다. 이는 그레디언트를 계산할 수 없을 때 진화가 확실히 우월한 전략임을 시사합니다.

트레이드오프: 속도 vs 지능

하지만 대가가 따릅니다. EvoCL은 과거 데이터 없이 기억하는 데는 더 똑똑하지만, 더 느립니다. 여러 버전의 AI를 동시에 테스트해야 하기 때문에 훈련 시간이 훨씬 오래 걸립니다.

• CIFAR100 데이터셋의 경우, 다른 방법들이 약 3~20분 동안 훈련되는 동안, EvoCL은 거의 985분(16시간 이상)이 소요되었습니다.
• 저자들은 이것이 트레이드오프라고 언급합니다. 즉, 데이터를 저장하지 않고 학습하는 능력을 얻기 위해 시간을 지불하는 것입니다.

한계 및 향ens 단계

이 논문은 이 방법이 아직 모든 문제에 대한 마법의 해결책은 아니라는 점을 분명히 하고 있습니다.

• 규모(Scale): 이 방법은 소규모에서 중규모 데이터셋에 잘 작동합니다. 저자들은 "진화" 과정이 너무 거대한 모델에는 너무 많은 컴퓨팅 파워를 요구하기 때문에, 아직 ImageNet-1k와 같은 대규모 데이터셋에 대해서는 테스트하지 않았다고 인정했습니다.
• 근사(Approximation): 이 방법은 번역된 스케치로부터 계산된 "가짜" 손실에 의존합니다. 만약 번역기(어댑터)가 매우 좋지 않다면, AI는 잘못된 것을 배울 수 있습니다.
• 메모리: 원시 이미지를 저장하지는 않지만, 여전히 압축된 스케치와 어댑터 네트워크를 저장해야 합니다.

결론

이 논문은 데이터 프라이버시나 메모리 제한으로 인해 AI 시스템이 과거 데이터를 잊어야 하는 상황에 처했을 때, 항상 사용하던 방식대로 수학을 강요해서는 안 된다는 점을 시사합니다. 대신, 우리는 그들이 진화하도록 내버려 둘 수 있습니다. 인구 기반 접근 방식과 과거를 시뮬레이션하는 영리한 번역기를 사용함으로써, EvoCL은 AI가 과거의 숙제를 다시 들여다볼 수 없는 상황에서도 새로운 기술을 배우면서 기존의 기술을 잃지 않을 수 있음을 보여줍니다. 이는 더 느리고 계산 비용이 많이 드는 학습 방식이지만, 데이터 프라이버시가 최우선인 상황에서 AI의 새로운 문을 열어줍니다.