당신이 로봇에게 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 먼저, 당신은 로봇에게 고양이와 강아지 사진을 보여줍니다. 나중에, 당신은 로봇이 고양이와 강아개를 잊지 않으면서 사자와 호랑이에 대해 배우기를 원합니다. 이것은 인공지능에게 매우 까다로운 문제입니다. 왜냐하면 로봇이 새로운 것을 배울 때, 종종 예전에 배웠던 것들을 '파괴적 망각(catastrophic forgetting)'하며 기억을 깨끗이 지워버리기 때문입니다. 이를 해결하기 위해 과학자들은 보통 새로운 것을 가르치는 동안 예전 사진들도 다시 보여줍니다. 하지만 예전 사진들을 저장할 수 없다면 어떻게 될까요? 그 사진들에 개인 정보가 들어있거나, 혹은 하드 드라이브 용량이 부족한 상황이라면 말이죠.

여기서 '생성적 재현(generative replay)'이라는 영리한 기술이 등장합니다. 로봇에게 예전의 실제 사진들을 보여주는 대신, 아주 똑똑한 AI 화가에게 예전 동물들의 그림을 처음부터 새로 그려달라고 요청하는 것입니다. 로봇은 이 가짜 그림들을 공부하면서 동시에 실제 새로운 동물들도 함께 학습합니다. 완벽해 보이죠, 그렇죠? 원래의 사진을 보관할 필요 없이 기억의 이점만 챙길 수 있으니까요. 하지만 함정이 있습니다. 로봇이 혼란에 빠지기 시작하는 것입니다. 로봇은 동물이 '무엇'인지 보는 것을 멈추고, 사진이 '어떻게' 만들어졌는지에 집중하게 됩니다. 로봇은 "오, 이건 그림처럼 생겼으니까 예전 동물이야"라고 말하고, "이건 사진처럼 생겼으니까 새로운 동물이야"라고 학습하게 됩니다. 실제 동물을 배우는 대신, 쉬운 지름길을 택하는 것입니다.

'Training-Free Generative Replay-based Class Incremental Learning을 위한 합성-실제 도메인 지름길 깨기'라는 제목의 이 논문은 바로 그 혼란을 다룹니다. 장타오(Tao Zhang)와 동료들이 이끄는 연구진은 로봇이 새로운 것을 배울 때 실제 새로운 사진과 AI가 생성한 예전 사진을 섞어서 사용하면, AI가 실제 대상이 아닌 이미지의 '질감(texture)'에 속게 된다는 사실을 발견했습니다. 그들은 이 문제를 해결하기 위해 DREAM(Domain-Regularized Exemplar-free Alignment Model)이라는 새로운 방법을 제안합니다. DREAM은 로봇이 '실제'와 '가짜' 사진의 차이에 정신이 팔리지 않도록, 그 차이를 매끄럽게 다듬어주는 특수한 필터 역할을 합니다. 즉, 로봇이 '그림 스타일'을 무시하고 오직 '동물의 형태'에만 집중하도록 강제하는 것입니다. 그 결과, 로봇은 개인적인 사진을 저장하거나 AI 화가를 다시 훈련시키지 않고도, 예전의 것들을 잊지 않으면서 새로운 동물을 배울 수 있게 되었습니다.

문제점: '가짜 vs 진짜'의 함정

이것이 왜 중요한 문제인지 이해하기 위해, 로봇의 뇌가 어떻게 작동하는지 살펴봅시다. AI가 이미지를 볼 때, AI는 이미지를 특징(features)들로 분해합니다. 어떤 특징들은 '뾰족한 귀'나 '줄무늬' 같은 '내용(content)'에 대해 알려줍니다. 반면 다른 특징들은 '카메라로 찍은 사진 같다'거나 '디지털 페인팅 같다'와 같은 '스타일' 또는 '도메인(domain)'에 대해 알려줍니다.

완벽한 세상이라면 로봇은 오직 내용에만 관심을 가져야 합니다. 하지만 현실 세계에서, 고정된(학습하거나 변하지 않는) AI 화가를 사용하여 예전 사진들을 만들어내면, 그 사진들은 항상 특정한 '풍미(flavor)'를 갖게 됩니다. 조명이 약간 다르거나, 특정한 종류의 입자감이 있거나, 혹은 가장자리를 렌더링하는 특정한 방식이 있을 수 있습니다. 저자들은 이것을 **'도메인 지름길(Domain Shortcut)'**이라고 부릅니다.

이것은 마치 선생님이 학생에게 시험을 치르게 하는 것과 같습니다. 학생은 역사에 관한 질문에 답해야 합니다. 그런데 선생님이 실수로 역사 문제는 파란 종이에, 지리 문제는 빨간 종이에 적어서 냈습니다. 아주 똑똑하지만 게으른 학생은 질문을 읽는 대신 종이 색깔을 보기 시작합니다. "파란 종이네? 그럼 역사구나. 빨-빨간 종이네? 그럼 지리구나." 학생은 시험에서 만점을 받겠지만, 실제로 역사나 지리를 배운 것은 아닙니다. 단지 지름길을 배웠을 뿐입니다.

AI의 경우, (현재 학습 세션에서 본 적 없는) 예전 고양이의 '실제' 사진을 보면 AI는 당황합니다. AI는 "잠깐, 이건 '실제' 사진이야! 그런데 내가 방금 배운 '새로운' 동물들은 모두 '실제' 사진이었어. 그러므로 이 예전 고양이는 반드시 새로운 동물임이 틀림없어!"라고 생각합니다. AI는 고양이가 무엇인지 몰라서가 아니라, 사진이 '실제'라는 사실에 집착하기 때문에 고양이를 새로운 사자나 호랑이로 잘못 분류하는 것입니다.

저자들은 이 지름길이 너무 강력해서, AI가 생성한 사진이 믿기지 않을 정도로 고품질이고 실제 동물과 똑같이 생겼더라도 AI가 실패한다는 것을 발견했습니다. AI는 실제 '고양이 대 사자'의 차이보다 '실제 대 합성'의 차이를 우선시합니다. 이로 인해 나중에 실제 세상에서 예전 클래스들을 인식하려고 할 때 모든 것을 잊어버리게 됩니다.

해결책: DREAM과 '마법의 필터'

연구진은 문제가 그림의 품질이 아니라, 그림과 사진 사이의 '격차(gap)'라는 것을 깨달았습니다. 이를 해결하기 위해 그들은 DREAM을 발명했습니다.

당신에게 두 그룹의 사람들이 있다고 상상해 보세요. 그룹 A(AI가 생성한 예전 동물들)와 그룹 B(실제 새로운 동물들)입니다. 그들은 한 방에 서 있지만, 그룹 A는 파란 모자를 쓰고 있고 그룹 B는 빨간 모자를 쓰고 있습니다. AI는 그들을 보며 "파란 모자? 예전 동물이야. 빨간 모자? 새로운 동물이야"라고 말합니다. AI는 두 그룹 모두 밑에 똑같은 티셔츠(동물의 의미론적 의미)를 입고 있다는 사실을 무시하고 있습니다.

DREAM은 마법의 모자 제거기 역할을 합니다. 단순히 모자를 벗기는 것이 아니라, '파란 모자'와 '빨고 모자'의 차이가 완전히 사라지도록 방 전체를 재구성합니다. 다음과 같은 몇 가지 영리한 단계를 통해 이를 수행합니다.

1. '모자' 방향 찾기: AI는 새로운 동물들(실제 동물과 동일한 동물의 AI 생성물 모두)을 살펴봅니다. 이들은 같은 동물이므로, 둘 사이의 모든 차이점은 반드시 '모자'(도메인 차이)여야 합니다. AI는 **특이값 분해(Singular Value Decomposition, SVD)**라는 수학적 도구를 사용하여, 자신의 뇌 속에서 이 '모자' 차이가 존재하는 정확한 방향을 찾아냅니다. 이는 라디오 주파수에서 잡음이 가장 크게 들리는 특정 주파수를 찾는 것과 같습니다.
2. 부드러운 투영(Soft Projection): 그 '잡음'의 방향을 찾았다면, 단순히 그것을 없애버리는 것이 아니라(그러면 동물의 얼굴까지 지워버릴 수 있으니까요), '부드러운 투영'을 사용합니다. 마치 푹신한 매트리스를 누르는 것을 상상해 보세요. '모자' 부분의 데이터는 평평하게 눌러서 없애되, '동물' 부분은 탄력 있고 온전하게 남겨둡니다. 이를 **특징 도메인 교정(Feature Domain Rectification, FDR)**이라고 합니다. 이는 AI가 '실제 대 합성'의 차이가 거의 제로가 되는 방식으로 데이터를 바라보도록 강제합니다.
3. 앵커(Anchor): AI가 모자를 고치는 동안 길을 잃지 않도록, 그들은 **실제 기반 프로토타입 통합(Real-Anchored Prototype Consolidation, RAPC)**을 사용합니다. 이것은 등대와 같습니다. AI는 실제 동물이 어떻게 생겼는지에 대한 '기억'(등대)을 유지합니다. 그런 다음 AI가 생성한 동물들이 이 등대 근처로 부드럽게 다가가도록 유도하여, 실제 세상과 완벽하게 일치하도록 만듭니다.

결과: 효과가 있는가?

저자들은 단순한 수준(10가지 물체 유형이 있는 CIFAR-10)부터 복잡한 수준(200가지 물체 유형이 있는 TinyImageNet)까지 다양한 난이도의 데이터셋에 DREAM을 테스트했습니다.

결과는 인상적이었습니다. 가장 단순한 게임(CIFAR-10)에서 기존 방식(가짜와 진짜 사진을 그냥 섞는 방식)은 작업이 어려워질 때 약 **55%**의 정확도를 보였습니다. DREAM은 이를 **89%**까지 끌어올렸습니다. 이는 엄청난 도약입니다.

100가지 물체 유형이 있는 CIFAR-100과 같은 더 복잡한 게임에서 기존 방법들은 거의 아무것도 기억하지 못했습니다. 그러나 DREAM은 높은 정확도를 유지하며, 어려운 10개 태스크 시나리오에서 **69.73%**에 도달하여 이전의 최고 방법들을 상당한 차이로 앞질렀습니다.

이 논문의 가장 멋진 점 중 하나는 DREAM이 AI 화가에게 새로운 것을 배우도록 요구하지 않는다는 것입니다. 화가는 '고정(frozen)'되어 있으며, 텍스트에 따라 그림을 그리는 도구일 뿐입니다. 저자들은 그림을 생성하기 위해 Qwen-Image(또한 Stable Diffusion 1.5로도 테스트함)라는 강력한 도구를 사용했습니다. 그들은 더 나은 그림을 그리기 위해 화가를 훈련시키는 데 시간을 허비할 필요가 없었습니다. 그저 화가를 있는 그대로 사용했고, DREAM이 그 혼란을 해결하는 핵심적인 역할을 수행했습니다.

이것이 왜 중요한가

이 논문은 지속적으로 학습할 수 있는 AI를 만드는 데 있어 주요한 병목 현상을 해결했다는 점에서 매우 중요합니다. 오랫동안 사람들은 AI가 망각을 멈추게 하는 유일한 방법은 예전 사진을 모두 저장하거나(이는 개인 정보 보호에 좋지 않음), AI 화가를 끊임없이 재학습시키는 것(이는 느리고 비용이 많이 듦)뿐이라고 생각했습니다.

DREAM은 두 마리 토끼를 모두 잡을 수 있다는 것을 보여줍니다. AI를 사용하여 예전의 기억을 생성할 수 있으며, 생성기를 재학습시키지 않고도, 개인 사진을 저장하지 않고도, 그리고 AI가 그림의 '가짜' 특성에 속지 않고도 할 수 있습니다.

저자들은 이 방법이 매우 견고하다고 제안합니다. 설령 다른 AI 화가를 사용하거나 서로 다른 두 명의 화가로부터 나온 사진을 섞더라도 DREAM은 여전히 잘 작동했습니다. 이는 '지름길' 문제가 이러한 유형의 학습에서 발생하는 보편적인 문제임을 시사하며, 그들의 '모자 제거' 필터가 일반적인 해결책임을 보여줍니다.

결국, DREAM은 문제가 AI가 학습할 수 없어서가 아니라, AI가 그림의 '스타일'에 속았기 때문이라는 것을 증명했습니다. 스타일을 수정함으로써, AI는 마침내 실체에 집중하여, 자신이 본 모든 것을 저장하기 위해 거대한 하드 드라이브를 필요로 하지 않고도 새로운 것을 배우면서 예전의 것들을 기억 속에 안전하게 간직할 수 있게 되었습니다. 이는 AI가 인간처럼 진정으로 성장하고 학습할 수 있는 길을 향한 한 걸음입니다.