Ghost Features and Spooky Transfer Learning for Hypercomplex-Valued Neural Networks

당신이 로봇에게 고양이나 자동차 같은 물체를 인식하는 법을 가르치려 한다고 상상해 보세요. 보통 우리는 이 로봇들을 '실수(real numbers)'를 사용하여 가르칩니다. 실수는 '얼마나 큰가?', '얼마나 붉은가?'와 같이 단순하고 직선적인 측정값입니다. 하지만 세상이 단순히 하나의 직선으로만 이루어져 있지 않다면 어떨까요? 만약 사물들이 숨겨진 각도, 회전, 또는 단순한 숫자 하나로는 포착할 수 없는 관계들을 가지고 있다면 어떨까요? 바로 이 지점에서 **하이퍼컴플렉스 수(hypercomplex numbers, 복소수 이상의 고차원 수)**가 등장합니다. 이를 일반적인 숫자보다 업그레이드된 버전이라고 생각하세요. 이들은 추가적인 '허수(imaginary)'의 짐을 함께 지고 있습니다. 일반적인 숫자가 단선 도로라면, 하이퍼컴플렉스 수는 모든 차선이 특별하고 구조적인 방식으로 서로 소통하는 다차선 고속도로와 같습니다. 이러한 구조는 컴퓨터가 단순한 숫자를 사용할 때보다 색상이 섞이는 방식이나 3D 형태의 회전과 같은 복잡한 패턴을 훨씬 더 잘 이해하도록 돕습니다.

이제, 이미 수천 가지의 사물을 인식하도록 학습된 매우 똑똑한 로봇을 가지고 있다고 상상해 보세요. 당신은 이 로봇을 단순한 단선 도로에서 다차선 고속도로로 업그레이드하고 싶지만, 이미 해놓은 노력을 버리고 싶지는 않습니다. 이것이 바로 이 논문이 다루는 과제입니다. 연구자들은 다음과 같은 질문을 던집니다. '이미 현실 세계의 전문가인 로봇을 가져와서, 처음부터 다시 학습시키지 않고도 숨겨진 "허수"의 세부 사항을 볼 수 있는 초능력을 몰래 부여할 수 있을까?' 그들은 이 새로운 기술을 "스푸키 전이 학습(spooky transfer learning, 유령 같은 전이 학습)"이라고 부르며, 이것이 더 똑똑하고 효율적인 AI를 만드는 열쇠가 될 것이라고 믿습니다.

---

기계 속의 유령

이 논문에서 저자들은 기존 AI 모델을 업그레이드하는 영리한 방법을 소개합니다. 그들은 먼저 실수로 훈련된 표준 신경망(일종의 컴퓨터 뇌)에서 시작하여 작은 마술을 부립니다. 그들은 이 네트워크의 한 층(정보를 처리하는 특정 단계)을 가져와 이를 하이퍼컴플렉스 층 안에 '임베딩(embed)'합니다.

여기 마법이 있습니다. 이렇게 하면 컴퓨터는 데이터의 '실수' 부분에 대해서는 이전과 똑같은 출력을 생성합니다. 하지만 하이퍼컴플렉스 수의 특별한 수학적 규칙 덕분에, 컴퓨터는 자동으로 **"유령 특징(ghost features)"**이라 불리는 추가 출력을 생성하게 됩니다.

이렇게 생각해 보세요. 당신이 모노 스피커(단일 채널)로 노래를 듣고 있다고 상상해 봅시다. 소리는 아주 좋습니다. 이제 그 똑같은 모노 스피커를 화려한 서라운드 사운드 시스템에 연결한다고 생각해 보세요. 원래의 소리는 여전히 명확하게 들립니다. 하지만 갑자기 시스템은 원래 노래 안에 숨겨져 있었지만 전에는 들리지 않았던 에코, 화음, 공간적 디테일과 같은 "유령" 소리들을 재생하기 시작합니다. 새로운 노래를 녹음할 필요는 없습니다. 시스템이 기존의 오디오를 사용하여 숨겨진 정보의 층을 드러낸 것뿐입니다. 이 논문의 세계에서 이러한 "유령 특징"은 비록 명시적으로 찾도록 프로그래밍되지는 않았지만, AI가 데이터를 더 잘 이해하는 데 사용할 수 있는 추가적인 정보 조각들입니다.

"스푸키(Spooky)"한 전이

이 논문의 진짜 혁신은 이 유령들을 어떻게 사용하는가에 있습니다. 보통 새로운 유형의 수학(예: 하이플렉스 수)을 사용하려면, 처음부터 전체 모델을 새로 훈련시켜야 하며 이는 많은 시간과 데이터가 소요됩니다. 하지만 저자들은 **"스푸키 전이 학습"**이라고 부르는 방법을 제안합니다.

이것이 "스푸키(유령 같은)"한 이유는 정보가 직접적인 다리 없이 차원을 가로질러 전달되는 것처럼 느껴지기 때문입니다. 작동 방식은 다음과 같습니다:

1. 이미 훈련되어 고정된(더 이상 학습하지 않는) 모델을 가져옵니다.
2. 이 모델의 실수 층을 하이퍼컴플렉스 층으로 교체합니다.
3. 모델은 즉시 원래 데이터와 함께 그 "유령 특징"들을 생성하기 시작합니다.
4. 컴퓨터 뇌의 나머지 부분이 이 새로운, 더 넓은 데이터 스트림을 처리할 수 있도록, 마지막에 아주 작은 '학습 가능한 필터'를 추가합니다. 이 필터는 작고 비용이 적게 듭니다. 그것은 단지 원래의 특징과 새로운 유령 특징을 어떻게 섞어서 최선의 결정을 내릴지를 학습할 뿐입니다.

결과적으로, 모델은 원래 전문가가 가진 모든 지식을 유지하면서도, 숨겨진 패턴을 볼 수 있는 새로운 눈을 갖게 됩니다. 이 모든 과정은 처음부터 다시 훈련할 필요 없이 이루어집니다.

연구 결과

이 방법이 실제로 작동하는지 테스트하기 위해, 연구진은 17,000개 이상의 현미경 혈구 이미지와 8개의 클래스로 분류된 BloodMNIST라는 의료 영상 데이터셋을 사용했습니다. 그들은 출발점으로 **EfficientNetV2 (B0)**라는 대중적인 AI 모델을 사용했습니다.

그들은 세 가지 버전을 비교했습니다:

1. 표준 전이 학습을 사용한 원래 모델.
2. "스푸키" 방식을 사용하되, 표준 실수 필터로 유령 특징을 줄인 버전.
3. "스푸키" 방식을 사용하되, 하이퍼컴플렉스 필터로 특징을 줄인 버전.

결과는 유망했습니다. 원래 모델은 **95.92 ± 0.07%**의 정확도를 달enc성했습니다. 스푸키 전이 학습 버전은 더 높은 성과를 보였습니다:

• 실수 필터를 사용한 버전은 **98.21 ± 0.19%**에 도달했습니다.
• 하이퍼컴플렉스 필터를 사용한 버전은 **97.49 ± 0.51%**에 도달했습니다.

결정적으로, 이러한 개선은 매우 적은 비용으로 이루어졌습니다. 새로운 "필터" 층은 실수 버전의 경우 4,128개, 하이퍼컴플렉스 버전의 경우 1,056개의 학습 가능한 파라미터만을 추가했습니다. 이는 유령 특징이 풍부하고 유용한 정보를 제공하여, 핵심 모델을 재훈련하지 않고도 AI가 더 나은 추측을 할 수 있도록 돕는다는 것을 시사합니다.

요약

이 논문은 이러한 "유령 특징"이 단순한 수학적 장식이 아니라, AI가 다양한 유형의 혈구를 더 정확하게 구별하는 데 도움이 되는 중복되면서도 매우 가치 있는 정보를 담고 있다고 결론짓습니다. 저자들은 이 접근 방식이 대수적 구조의 숨겨진 잠재력을 활용함으로써 더 강력한 AI 모델을 구축하는 실질적인 경로를 제공한다고 제안합니다. 그들이 모든 문제를 해결한 것은 아니지만, 표준 모델에 추가적인 지능을 "출몰(haunt)"시켜서 처음부터 다시 시작하는 무거운 작업 없이도 모델을 더 똑똑하고 효율적으로 만들 수 있음을 보여주었습니다. 다음 단계는 이 "유령"들이 우리에게 정확히 무엇을 말해주고 있는지, 그리고 이를 어떻게 사용하여 더 가볍고 빠른 모델을 구축할 수 있는지 알아내는 것이라고 그들은 암시합니다.