Sign-Symmetry Learning Rules are Robust Fine-Tuners

당신이 로봇에게 고양이, 개, 그리고 자동차를 인식하는 법을 가르치고 있다고 상상해 보세요. 수십 년 동안 이 디지털 두뇌를 훈련시키는 표준 방식은 "역전파(Backpropagation)"라고 불리는 방법이었습니다. 이것은 마치 로봇의 모든 움직임을 지켜보며, 아주 작은 소수점 단위까지 정확한 오차를 계산하고, 로봇의 전체 신경계로 정밀한 교정 신호를 보내는 엄격하고 완벽주의적인 코치와 같습니다. 이 방식은 놀라울 정도로 잘 작동하여 로봇을 똑똑하고 빠르게 만듭니다. 하지만 이 코치에게는 비밀스러운 약점이 있습니다. 누군가 고양이 사진 위에 아주 미세하고 거의 보이지 않는 먼지 한 점을 몰래 올려두면, 코치의 완벽한 계산이 너무 민감한 나머지 로봇이 갑자기 "이건 토스터기예요!"라고 비명을 지를 수도 있다는 것입니다. 이것을 "적대적 공격(adversarial attack)"이라고 부르며, 이는 AI를 현실 세계에서 신뢰하는 데 있어 큰 문제입니다. 과학자들은 오랫동안 인간의 실제 뇌가 학습하는 방식—정밀한 수학 대신 더 거칠고 생물학적인 신호를 사용하는 방식—을 모방하여 로봇을 가르치는 다른 방법을 찾아왔습니다. 하지만 이러한 "생물학적으로 타당한(biologically plausible)" 방법들은 대개 로봇을 더 멍청하고 느리게 만들었기 때문에, 대부분의 사람들은 이를 포기했습니다.

이제, 한 연구팀이 영리한 하이브리드 접근 방식을 시도하기로 했습니다. 그들은 이렇게 물었습니다. "만약 우리가 엄격한 코치를 사용하여 로봇에게 기초를 가르치고, 그 후에 더 거친 생물학적 코치로 전환하여 마지막 다듬질을 한다면 어떨까?" 이들의 새로운 연구에서, 그들은 사전 훈련된 신경망(로봇의 두뇌)을 표준적인 방법으로 먼저 훈련시켰습니다. 그러고 나서, 동일한 엄격한 코치로 훈련을 마무리하는 대신, "부호 대칭(Sign-Symmetry)"이라고 불리는 규칙들을 사용했습니다. 이 규칙들은 마치 오차의 정확한 크기보다는 오차의 방향(위 또는 아래, 왼쪽 또는 오른쪽)에만 관심을 갖는 코치와 같습니다. 이들은 각 연결의 정확한 무게를 알 필요가 없습니다. 단지 그것을 어느 방향으로 밀어야 하는지만 알면 됩니다. 연구진은 이 "더 거친" 다듬질 과정이 로봇이 사물을 인식하는 능력을 떨어뜨리지 않는다는 것을 발견했습니다. 사실, 이 방식은 로봇을 믿을 수 없을 정도로 강하게 만들었습니다. 공격자가 아주 미세하고 보이지 않는 먼지로 로봇을 속이려 할 때, 표준적인 엄격한 코치로 훈련된 로봇은 완전히 무너졌지만, 부호 대칭 규칙을 사용한 로봇은 거의 꿈쩍도 하지 않았습니다. 결국, 완벽한 정밀함에 집착하지 않음으로써 로봇은 훨씬 더 속이기 어려워진 것입니다.

거친 다듬질의 이야기

이것이 어떻게 작동하는지 자세히 살펴보겠습니다. 연구진은 엄격한 코치(역전파)가 강력한 기초를 쌓는 데 탁월하다는 생각에서 시작했습니다. 이것은 완벽한 균형 데이터를 제공하는 보조 바퀴를 달고 자전거 타기를 배우는 것과 같습니다. 하지만 일단 자전거를 탈 줄 알게 되면, 더 이상 그 완벽한 센서들이 필요하지 않을 수도 있습니다. 연구팀은 이미 표준적인 방법으로 이미지를 인식하도록 학습된 사전 훈련된 모델(신경망)을 가져와서, 부호 대칭 규칙을 사용하여 "미세 조정(fine-tuning)" 세션을 진행했습니다.

이 규칙들에는 uSF(균일 부호 일치 피드백), frSF(고정 무작위 크기 부호 일치 피드백), brSF(배치 단위 무작위 크기 부호 일치 피드백)와 같은 몇 가지 다른 종류가 있습니다. 이것들을 로봇에게 힌트를 주는 다양한 방식이라고 생각할 수 있습니다. "왼쪽으로 0.043 유닛만큼 벗어났어"라고 말하는 대신, 부호 대칭 코치는 그저 "이봐, 왼쪽으로 기울었으니 오른쪽으로 밀어!"라고 말합니다. 이들은 정확한 숫자는 무시하고 오차의 부호(양수 또는 음수)에 집중합니다.

연구팀은 이를 두 가지 주요 작업, 즉 이미지 분류(사진 속에 무엇이 있는지 맞히는 것)와 해싱 기반 이미지 검색(거대한 데이터베이스에서 유사한 사진을 찾는 것)에서 테스트했습니다. 그들은 AlexNet, VGG-16, ResNet-18과 같은 유명한 로봇 두뇌를 사용했으며, CIFAR-10, MS-COCO, ImageNet과 같은 유명한 데이터셋을 활용했습니다.

결과는 놀랍고 흥격적이었습니다. 단순히 똑똑함에 있어서, 부호 대칭으로 미세 조정된 로봇들은 엄격한 코치로만 훈련된 로봇만큼이나 뛰어났습니다. 어떤 경우에는 오히려 더 나았습니다! 예를 들어, AlexNet 두뇌를 사용한 CIFAR-10 데이터셋에서, 부호 대칭 방식은 표준 코치의 **90.62%**를 넘어 **93.75%**의 Top-1 정확도를 기록했습니다. ImageNet 데이터셋의 ResNet-18 두뇌의 경우, 표준 코치의 정확도인 **87.5%**와 일치하는 결과를 보였습니다. 여기서 핵심적인 교훈은, 마지막 단계에서 더 거친 코치로 전환하더라도 지능을 잃지 않는다는 것입니다.

진정한 마법은 이 로봇들이 얼마나 잘 난관을 극복하는지 테스트했을 때 일어났습니다. 연구진은 로봇을 속이기 위해 이미지에 미세한 양의 노이즈를 추가하는 "적대적 공격"을 가했습니다. 그들은 FGSM과 PGD라는 두 가지 유형의 공격을 사용했습니다. 이것들은 "화이트박스(white-box)" 공격으로, 해커가 로봇이 어떻게 생각하는지 정확히 알고 그 지식을 이용해 완벽한 속임수를 만들어낸다는 것을 의미합니다.

표준적인 로봇(역전파로만 훈련된 로봇)을 공격했을 때, 로봇들은 빠르게 무너졌습니다. 해커들이 노이즈( $\epsilon$ 로 표현됨)를 높임에 따라, 표준 로봇의 정확도는 급락했습니다. ImageNet 데이터셋의 경우, 노이즈 수준이 0.5에 도달했을 때 표준 로봇의 정확도는 거의 **0%**로 떨어졌습니다. 완전히 속아 넘어간 것입니다.

하지만 부호 대칭으로 미세 조정된 로봇들은 마치 튼튼한 장화처럼 견고했습니다. 그들은 쉽게 무너지지 않았습니다. 동일한 수준의 강한 노이즈 상황에서도 정확도를 훨씬 더 잘 유지했습니다. ResNet-18 실험에서, 표준 로봇과 부호 대칭 로봇 사이의 격차는 엄청났습니다—공격 상황에서 정확도 차이가 때로는 무려 **71.88%**에 달했습니다. 표준 로봇의 그래프 선은 돌처럼 곤두박질쳤지만, 부호 대칭 로봇의 선은 미끄럼틀처럼 완만하게 내려갔습니다. 이는 부호 대칭 규칙이 완벽하고 정확한 그래디언트(gradient)에 의존하지 않기 때문에, 해커들이 그들을 속이기 위한 완벽한 트릭을 계산하기 어렵다는 것을 시사합니다. 마치 자물쇠의 내부 부품들이 약간 헐겁고 무작위적일 때 자물쇠를 따려고 하는 것과 같습니다. 완벽한 열쇠가 더 이상 통하지 않는 것입니다.

연구진은 또한 해커가 로봇이 어떻게 생각하는지 모르고 그저 무작위적인 트릭을 시도하는 "블랙박스(black-box)" 공격에 대해서도 테스트했습니다. 이 경우, 부호 대칭 로봇은 표준 로봇만큼이나 잘 작동했습니다. 이는 매우 중요한 세부 사항입니다. 즉, 로봇이 전반적으로 약해진 것이 아니라, 로봇의 내부 수학적 원리에 의존하는 해커들에게 특정적으로 더 까다로워졌다는 것을 의미합니다.

연구진은 또한 책 표지를 짧고 고유한 코드로 변환하여 도서관을 정리하는 것과 같은 "해싱(hashing)" 작업도 살펴보았습니다. 여기서도 유사한 결과가 나타났습니다. HAG 및 SDHA와 같은 방식으로 공격했을 때, 표준 로봇의 성능(mAP로 측정됨)은 폭락했습니다. 예를 들어, ImageNet에서 표준 로봇의 mAP는 높은 노이즈 수준에서 약 **12%**로 떨어졌지만, 부호 대칭 로봇은 약 **40%**를 유지했습니다.

가장 흥미로운 발견 중 하나는 frSF(고정 무가크 크기 부호 일치 피드백)라고 불리는 방법이 가장 안정적이고 성능이 좋았다는 점입니다. 이 방법은 다양한 종류의 로봇 두뇌와 데이터셋 전반에 걸쳐 일관되게 입지를 지켰습니다.

이 모든 것이 무엇을 의미할까요? 이 논문은 우리가 똑똑함과 강인함 중 하나를 선택할 필요가 없다는 것을 시사합니다. 우리는 둘 다 가질 수 있습니다. 엄격하고 완벽한 코치를 사용하여 기초를 다지고, 그다음 거칠고 생물학적인 스타일의 코치로 전환함으로써, 우리는 똑똑하면서도 훨씬 더 속이기 어려운 로봇을 얻을 수 있습니다. 저자들은 이 "부호 대칭" 접근 방식이 AI를 더 안전하고 신뢰할 수 있게 만드는 새로운 방법이 될 수 있다고 제안합니다. 특히 우리가 속아서는 안 되는 상황에서 말이죠. 그들은 이 방식이 더 크고 복잡한 시스템에서 어떻게 작동하는지 확인하기 위해 더 많은 연구가 필요하다고 인정하지만, 초기 결과는 자연의 거칠고 투박한 학습 방식이 우리의 디지털 두뇌를 진정으로 견고하게 만드는 데 필요한 비밀 재료일 수 있다는 강력한 힌트를 주고 있습니다.