$\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning

당신이 거대한 첨단 도서관을 짓고 있다고 상상해 보십시오. 이곳의 모든 책은 표지가 아닌, 숫자로 이루어진 고유하고 보이지 않는 "지문(fingerprint)"으로 표현됩니다. 이것이 현대 컴퓨터 비전이 작동하는 방식입니다. 검색 엔진에 고양이 사진을 직접 보여주는 대신, 컴퓨터는 그 사진을 숫자의 긴 목록(벡터)으로 변환하여 그 본질을 포착합니다. 당신이 "고양이"를 검색하면, 시스템은 당신의 질의(query)가 담긴 숫자 목록을 도서관에 저장된 수백만 개의 목록과 비교하여 가장 유사한 것을 찾아냅니다.

문제는 더 똑똑해진 새로운 사서가 도서관에 왔을 때 발생합니다. 이 새로운 사서는 더 많은 데이터로 훈련되었고, 더 뛰어난 두뇌(더 강력한 신경망)를 사용하여 지문을 만듭니다. 당연하게도, 새로운 지문은 더 정확합니다. 하지만 문제는, 새로운 사서는 약간 다른 "수학적 방언"을 사용한다는 점입니다. 특정 고양이에 대해 생성된 새로운 지문은 새로운 사서의 시스템 입장에서 보면 이전의 것과는 완전히 다르게 보일 수 있습니다. 비록 두 시스템 모두 동일한 동물을 묘사하고 있음에도 말입니다. 만약 당신이 기존 도서관의 지문과 새로운 사서의 검색 질의를 혼합하여 사용하려 한다면, 시스템은 혼란에 빠질 것이고 검색 결과는 엉망이 될 것입니다. 이를 해결하기 위해 보통은 도서관의 모든 책에 다시 지문을 찍어야 하는데, 이 과정은 너무 비용이 많이 들고 느려서 불가능한 경우가 많습니다. 이 논문은 새로운 도서관이 기존 도서관의 지문을 이해할 수 있도록 가르치는 과제를 다룹니다. 즉, 전체 카탈로그를 다시 작성하지 않고도 새로운, 더 똑똑한 시스템이 기존 시스템과 원활하게 소통할 수 있도록 만드는 것입니다.

---

문제: 두 명의 사서, 두 개의 언어

이미지 검색의 세계에서 우리는 종-종 수년간 갤러리를 인덱싱해 온 "기존(old)" 모델을 가지고 있습니다. 그러다 우리는 더 똑똑하고 강력한 "새로운(new)" 모델로 업그레이드하고 싶어 합니다. 문제는, 두 모델이 똑같은 강아지 사진을 보더라도, 그것을 서로 다른 숫자 집합으로 변환한다는 점입니다. 그들은 마치 서로 다른 나라에서 자란 두 사람과 같습니다. 둘 다 "강아지"가 무엇인지 알지만, 서로 다른 단어와 문장 구조를 사용하여 그것을 설명합니다.

만약 당신이 새로운 모델을 사용하여 기존 도서관을 검색하려고 한다면, 이는 마치 프랑스어 화자에게 일본어로 작성된 도서 카탈로그에서 책을 찾아달라고 요청하는 것과 같습니다. 검색은 실패합니다. 일반적인 해결책은 "백필링(backfilling)"입니다. 즉, 도서관의 모든 이미지를 가져와 새로운 모델로 실행하여 새로운 지문을 얻고, 기존의 것을 교체하는 것입니다. 하지만 도서관에 수백만 개의 이미지가 있다면, 이는 시간과 에너지 측면에서 엄청난 비용이 드는 계산적 악몽이 됩니다.

논문의 해결책: "λ-직교(λ-Orthogonal)" 번역기

저자들은 모든 것에 다시 지문을 찍지 않고도 이 간극을 메울 수 있는 영리한 방법을 제안합니다. 그들은 매우 구체적이고 유희적인 반전이 있는, 일종의 보편 번역기 역할을 하는 방법을 도입합니다.

기존 모델의 지문을 엄격하고 완벽하게 조직된 무용 대형이라고 생각해 보십시오. 새로운 모델의 지문은 더 유연하고 현대적인 춤 스타일입니다.

• 기존 방식 (아핀 변환, Affine Transformation): 일부 이전 방법들은 새로운 춤이 기존의 것과 똑같이 보이도록 무용수들을 늘리고 압축하여 강제하려고 했습니다. 이것은 그들을 비슷하게 만드는 데는 효과적이었지만, 새로운 모델의 고유한 강점을 망가뜨리며 새로운 무용수들의 자연스러운 움직임을 왜let(왜곡)했습니다.
• 엄격한 방식 (직교 변환, Orthogonal Transformation): 다른 방법들은 새로운 모델의 무결성을 완벽하게 보존하기 위해 무용수들의 위치를 전혀 바꾸지 않고 새로운 춤을 기존의 것에 맞춰 회전시키려 했습니다. 하지만 이것은 너무 경직되었습니다. 만약 새로운 춤의 리듬이 약간 달라지거나 음악이 바뀐다면(즉, 데이터 분포가 이동한다면), 적응할 수 없었습니다.

저자들의 혁신은 "λ-직교성(λ-Orthogonality)" 제약 조건입니다. 무용 지도자가 이렇게 말한다고 상상해 보십시오. "대형은 대략적으로 유지해야 하지만(직교), 새로운 음악에 맞추기 위해 팔꿈치와 무릎을 조금씩 까닥거리는 것(완화)은 허용하겠다."

그들은 **λ (람다)**라고 불리는 수학적 "슬라이더"를 사용합니다.

• λ를 0으로 설정하면, 무용수들은 완벽하게 경직된 상태를 유지해야 합니다 (엄격한 직교성).
• λ를 무한대로 설정하면, 그들은 원하는 대로 춤을 출 수 있습니다 (제약 없음).
• λ를 특정 최적의 지점(실험에서의 12와 같은)으로 조정하면, 시스템은 균형을 찾습니다. 시스템은 새로운 모델의 지문이 기존 도서관의 구조와 대체로 정렬되도록 유지하면서도(그래야 검색이 작동함), 새로운 모델이 학습한 고유한 뉘칭(nuance)에 적응할 수 있도록 충분한 유연성을 허용합니다.

실제 적용 방식

논문은 두 단계의 번역 과정을 설명합니다.

1. 역방향 번역 (Backward Translation): 그들은 새로운 모델의 지문을 가져와 기존 도서관의 공간에 맞게 회전시키는 작고 단순한 어댑터를 훈련시킵니다. 이것이 "λ-직교" 부분입니다. 이는 당신이 새로운 모델에 질문을 던졌을 때, 기존 도서관이 이해할 수 있도록 보장합니다.
2. 순방향 번역 (Forward Translation): 그들은 또한 기존 도서관의 지문을 새로운 모델의 언어로 번역하는 어댑터를 훈련시킵니다. 이를 통해 도서관은 시간이 지남에 따라 카탈로그를 점진적으로 업데이트할 수 있습니다.

이 번역들이 잘 이루어지도록 하기 위해, 그들은 "지도 학습 기반 대조 손실(supervised contrastive loss)"을 사용합니다. 이것은 사진 그룹을 가리키며 "이것들은 모두 고양이입니다. 이들의 지문이 서로 가깝게 만드세요. 저것들은 개입니다. 이들은 서로 멀리 떨어지게 만드세요"라고 말하는 선생님을 생각하면 됩니다. 이는 시스템이 두 언어 사이를 전환할 때도 유사한 것들이 서로 클러스터링되도록 학습하는 데 도움을 줍니다.

결과: 더 스마트한 검색, 더 적은 작업량

연구진은 ImageNet(1,000개의 이미지 카테고리를 가진 거대 컬렉션)과 CUB(새), Flowers와 같은 작고 특화된 데이터셋을 포함한 다양한 데이터셋에서 이를 테스트했습니다.

• 호환성: 그들의 방법은 새로운 모델을 기존 모델과 호환시키는 데 성공했습니다. 새로운 모델이 기존 도서관을 검색하려고 시도한 테스트에서, 정확도는 전체 도서관에 다시 지문을 찍었을 때와 거의 비슷했습니다.
• 보존: 새로운 모델의 성능을 망칠 수 있는 경직된 방법들과 달리, 그들의 "완화된" 접근 방식은 새로운 모델이 높은 정확도를 유지할 수 있게 해주었습니다. 실제로 일부 작업에서, 번역이 올바른 특징에 집중하도록 도와주었기 때문에 새로운 모델은 독자적으로 수행할 때보다 오히려 더 나은 성능을 보이기도 했습니다.
• 효율성: 그들은 또한 도서관을 점진적으로 업데이트하는 스마트한 방법을 제안했습니다. 모든 이미지를 한꺼번에 100% 다시 지문 찍는 대신, 가장 "혼란스러운" 이미지들을 먼저 업데이트할 수 있음을 보여주었습니다. 도서관의 50% 미만을 업데이트했을 때, 시스템은 이미 완전히 업데이트된 것과 동일한 성능을 냈습니다.

하지 않은 것 (그리고 그것이 중요한 이유)

이 논문은 이 방법이 무엇이 아닌지를 명확히 밝힙니다. 이 방법은 새로운 모델이 실제로 기존 모델보다 더 나쁠 경우 작동하는 마법의 지팡이가 아닙니다. 만약 새로운 모델이 나쁜 데이터로 훈련되었거나 퇴보한 모델이라면, 이 번역은 문제를 해결하지 못합니다. 이 방법은 새로운 모델이 단지 기존의 언어를 말하는 데 약간의 도움이 필요한 '개선된 모델'이라는 것을 전제로 합니다.

또한 그들은 "안정성"(기존 구조 유지)과 "가소성"(새로운 것에 적응) 사이에서 반드시 하나를 선택해야 한다는 생각에 명시적으로 반박합니다. 이전 방법들은 흔히 선택을 강요했습니다: 경직되고 안전하거나, 혹은 유연하지만 위험하거나. 이 논문은 적절한 양의 "움직임의 여지(wiggle room, λ로 제어됨)"를 사용한다면 두 가지를 모두 가질 수 있다고 제안합니다.

핵심 요약

이 논문은 더 똑똑한 AI를 얻었다고 해서 우리의 오래된 디지털 도서관을 버릴 필요가 없다는 것을 시사합니다. 대신, 우리는 기존 시스템의 구조를 존중하면서도 새로운 시스템이 빛을 발할 수 있도록 충분한 자유를 주는 유연한 번역기를 구축할 수 있습니다. "λ-직교" 제약을 사용함으로써, 저자들은 기존 데이터의 기하학적 형태를 유지하면서도 새로운 데이터가 적응할 수 있도록 하는 방법을 찾아냈으며, 그 결과 역방향 호환성과 미래 지향성을 모두 갖춘 시스템을 만들어냈습니다. 이는 AI 모델이 매번 처음부터 다시 시작할 필요 없이 진화하고 업그레이드될 수 있는 미래를 향한 한 걸음입니다.