Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification in the Foundation-Model Era

수천 대의 똑같이 생긴 차량이 가득한 도시에서 특정 차량을 찾아내야 한다고 상상해 보십시오. 이것이 바로 '차량 재식별(Vehicle Re-Identification, Re-ID)'의 임무입니다. 이는 스마트 교통 시스템을 위한 초능력과 같아서, 카메라가 차량이 한 거리 모퉁이에서 다른 곳으로 이동할 때 이를 추적할 수 있게 해줍니다. 오랫동안 더 나은 결과를 얻기 위한 비결은 '다양성(diversity)'이었습니다. 엔지니어들은 만약 서로 다른 전문가 팀을 구축한다면, 그 그룹이 단일한 개인보다 더 똑똑해질 것이라고 믿었습니다. 그들은 업무를 분담했습니다. 어떤 전문가는 바퀴를 보고, 다른 전문가는 지붕을 보며, 세 번째 전문가는 다른 사고방식(예: 인간의 뇌와 로봇의 뇌)을 사용하여 다른 이들이 놓친 세부 사항을 포착하는 식입니다. 핵심 아이디어는 더 많은 다양성이 더 적은 실수를 의미한다는 것이었습니다. 하지만 만로 시작부터 천재적인 수준의 두뇌를 가진 팀을 구성한다면 어떻게 될까요? 더 많은 조력자를 추가하는 것이 여전히 도움이 될까요, 아니면 오히려 방해가 될까요?

Yu Wang과 Hongyu Yang가 작성한 이 논문은 바로 이 질문을 파고듭니다. 그들은 현대적이고 강력한 유형의 AI 두뇌(이른바 '파운데이션 모델')를 차량을 찾는 작업에 테스트했습니다. 여러 명의 다양한 전문가를 만드는 복잡한 팀을 구축하는 대신, 그들은 이렇게 물었습니다. "그저 정말로 똑똑한 전문가 한 명을 사용하고 그들을 완벽하게 가르치면 어떨까?" 그들은 엄격한 규칙을 사용하여 결과가 공정하도록 보장하면서, 두 개의 유명한 차량 데이터셋인 VeRi-Wild와 VeRi-776을 대상으로 대규모 실험을 수행했습니다. 그들은 단순히 추측한 것이 아니라, 고정밀 도구를 사용하여 서로 다른 부분들이 실제로 다른 것을 보고 있는지, 아니면 단순히 자신을 반복하고 있는지를 측정했습니다.

그들이 발견한 답은 AI 세계에 있어 일종의 반전입니다. 그들은 파운데이션 모델과 같은 초스마트한 모델로 시작할 때, 기존의 "다다익선" 법칙이 무너진다는 것을 발견했습니다. 동일한 두뇌 위에 여러 개의 '헤드(heads, 서로 다른 전문가)'를 결합하려고 시도했을 때, 전문가들은 다양해지는 대신 모두 똑같은 생각을 하기 시작했습니다. 그것은 마치 다섯 명의 형사를 고용했는데, 그들이 모두 동일한 단서를 동일한 방식으로 보기로 결정한 것과 같았습니다. 심지어 완전히 다른 두 종류의 두뇌—표준형과 화려한 최신 트랜스포머(Transformer)형—를 혼합하려고 했을 때도, 화려한 모델은 유용한 것을 전혀 추가하지 못했습니다. 사실, 잘 튜닝된 단일 두뇌가 전체 팀만큼이나 뛰어났으며, 훨씬 더 빠르고 저렴하게 실행되었습니다. 논문은 이 특정 작업과 이 특정 유형의 스마트한 두뇌를 사용할 경우, 위원회가 필요하지 않다고 결론짓습니다. 당신에게 필요한 것은 단 한 명의 슈퍼스타, 올바른 훈련 레시피, 그리고 마지막에 결과를 재확인할 영리한 트릭뿐입니다.

단일 슈퍼 전문가의 이야기

거의 10년 동안, AI 커뮤니티는 다양성이 왕이다라는 아이디어에 매료되어 왔습니다. 차량 재식별의 세계에서 이것은 **멀티 브랜치 아키텍처(multi-branch architectures)**를 구축하는 것을 의미했습니다. 자동차 검사 팀을 상상해 보십시오. 한 사람은 번호판을 확인하고, 다른 사람은 타이어 트레드를 확인하며, 세 번째 사람은 도장 상태를 확인합니다. 병렬 스트림으로 작업을 나누면 단일 인원이 할 수 있는 것보다 더 많은 세부 사항을 포착할 것이라는 이론이었습니다. 일부 팀은 심지어 인간 탐정과 로봇 탐정을 함께 고용하여 그들의 서로 다른 시각이 서로의 사각지대를 보완하기를 기대하는 **크로스 백본 퓨전(Cross-Backbone Fusion)**을 시도하기도 했습니다.

가정은 간단했습니다: 더 다양한 표현이 더 나은 결과를 낳는다. 하지만 이 논문은 중요한 질문을 던집니다: "파운데이션 모델을 사용할 때도 이것이 여전히 작동하는가?"

파운데이션 모델은 사전 학습된 천재와 같습니다. 그들은 이미 인터넷 전체(또는 이 경우에는 수백만 개의 이미지)를 읽었으며, 당신이 특정 작업을 요청하기도 전에 세상을 보는 법을 배웠습니다. 저자인 Wang과 Yang는 궁금했습니다. 만약 당신이 이미 자동차를 보는 데 거의 완벽한 두뇌를 가지고 시작한다면, 두 번째 두뇌가 도움을 줄 여지가 남아 있을까요? 아니면 첫 번째 두뇌가 이미 알아야 할 모든 것을 알고 있을까요?

실험: 하나의 두뇌 vs. 전체 팀

이를 알아내기 위해 저자들은 공정한 대결을 설정했습니다. 그들은 강력하게 사전 학습된 AI인 DINOv3-ConvNeXt를 가져와 특정한 '레시피'로 훈련시켰습니다. 이 레시피는 마법이 아니었습니다. 그것은 AI의 두뇌를 언제 얼릴지(freeze), 언제 자유롭게 학습할지, 그리고 학습 속도를 어떻게 조정할지에 대한 세심한 스케줄이었습니다.

그들은 이 단일 두뇌를 두 가지 주요 데이터셋에서 테스트했습니다:

1. VeRi-Wild: 수천 대의 서로 다른 차량이 포함된 거대한 차량 이미지 모음.
2. VeRi-776: AI가 새로운 상황에 일반화될 수 있는지 확인하기 위해 사용되는 약간 더 작지만 매우 까다로운 이미지 세트.

그들은 이 단일하게 잘 훈련된 두뇌를 멀티 브랜치와 메타데이터(카메라 각도와 같은 추가 정보)를 사용하는 가장 강력한 기존 팀들과 비교했습니다.

결과: 단일 두뇌가 승리했습니다. 정확히 말하면, 무승부였습니다.
단일 DINOv3-ConvNext 모델은 적절한 훈련 레시피를 통해 VeRi-Wild Small 데이터셋에서 88.19 mAP(검색 성능을 측정하는 척도)의 정확도 점수에 도달했습니다. 이는 추가 메타데이터에 의존하는 가장 복잡한 멀티 브랜치 시스템의 성능과 일치했습니다. 그들이 '리랭킹(re-ranking)' 단계(상위 결과를 재확인하는 영리한 방법)를 추가했을 때, 점수는 92.38 mAP로 뛰었습니다.

저자들은 단일 두뇌가 전체 팀만큼이나 우수하면서도, 2.8배 더 빠르고 계산량(FLOPs)은 3배 적게 필요하다는 것을 발견했습니다.

"다양성" 신화의 파괴

이 논문의 가장 흥激한 부분은 왜 팀 접근 방식이 실패했는지 증명하는 방식입니다. 그들은 단순히 최종 점수만 본 것이 아니라, AI의 두뇌 내부를 들여다보고 서로 다른 '헤드'들이 실제로 무엇을 하고 있는지 확인했습니다.

1. 동일 백본 붕괴 (복제 군단)
동일한 백본에 네 개의 서로 다른 '헤드'를 배치했을 때, 그들은 헤드들이 자동차의 서로 다른 부분을 볼 것이라고 예상했습니다. 하지만 대신, AI가 훈련됨에 따라 네 개의 헤드가 모두 정확히 똑같은 것을 생각하기 시작한다는 것을 발견했습니다.

• 비유: 네 명의 형사를 고용했다고 상상해 보십시오. 처음에는 한 명은 신발을 보고, 한 명은 모자를 보고, 한 명은 가방을 보고, 한 명은 얼굴을 봅니다. 하지만 함께 일하면서, 그들은 모두 가장 명백한 단서가 있는 곳인 얼굴을 보기 시작합니다. 결국, 그들은 모두 같은 곳을 응시하게 됩니다.
• 데이터: 저자들은 이를 **자카드 유사도(Jcent similarity)**라는 도구로 측정했습니다. 그들은 서로 다른 헤드들이 검색하는 내용이 **83.5%에서 84.1%**까지 동일하다는 것을 발견했습니다. 그들은 본질적으로 복제본이었습니다. 그들을 결합하는 것은 도움이 되지 않았는데, 왜냐하면 그들은 모두 똑같은 실수를 하고 똑같은 매칭을 찾고 있었기 때문입니다.

2. 크로스 백본 실패 (엇박자 듀오)
다음으로, 그들은 "인간 대 로봇" 접근 방식을 시도했습니다. 그들은 ConvNext 두뇌(인간)를 가져와 이를 트랜스포머(Transformer) 두뇌(로봇)와 융합하려고 시도했습니다. 그들은 이 두 종류의 두뇌가 본질적으로 다르다는 것을 알고 있었습니다.

• 설정: 그들은 ConvNext 두뇌를 변경할 수 없도록 고정하여 '시맨틱 앵커(semantic anchor, 안정적인 참조점)' 역할을 하게 했고, 트랜스포머와 퓨전 모듈만을 훈련시켰습니다. 그들은 트랜스포머가 게으르지 않도록 세 가지 다른 훈련 레시피를 시도했습니다.
• 결과: 트랜스포머 두뇌는 고전했습니다. 최상의 훈련에도 불구하고, 트랜스포머는 약 73 mAP에 도달할 수 있었던 반면, ConvNext는 88.19 mAP에 도달했습니다.
• 퓨전: 그들이 이들을 결합하려고 했을 때, 시스템은 더 좋아지지 않았습니다. 사실, '오라클(Oracle, 두 가지를 섞는 최선의 방법을 아는 이론적인 완벽한 시스템)'은 트랜스포머에 제로 가중치를 주기로 결정했습니다. 트랜스포머는 너무 성능이 낮아 시스템이 이를 완전히 무시했습니다. 퓨전은 단일 두뇌보다 0.11 mAP(통계적으로 유의미하지 않은 아주 미미한 양) 이상의 것을 추가하지 못했습니다.

왜 이런 일이 일랐을까?

논문은 명확한 설명을 제공합니다: 공유된 궤적(Shared Trajectories).
동일한 백본에 대해 여러 헤드를 훈련할 때, 그들은 동일한 경로를 따릅니다. 그들은 모두 수학적 세계의 동일한 '해답'을 향해 밀려납니다. 그들은 다양성을 유지하지 못하고, 중복성 속으로 붕괴됩니다.
또한, **파인 튜닝 왜곡(Fine-Tuning Distortion)**이 역할을 합니다. 사전 학습된 천재를 데려와 새로운 기술을 가르칠 때, 그들의 원래 세상에 대한 '관점'은 새로운 작업에 맞게 왜곡됩니다. 시작 단계에 존재했던 차이점들(예: CNN과 트랜스포머가 세상을 보는 서로 다른 방식)은 두 모델이 모두 동일한 방식으로 차량 문제를 해결하려고 노력함에 따라 지워집니다.

효율성의 경계선

저자들은 차량 재식별의 시대에 파운데이션 모델을 위한 '효율성의 경계선(Efficiency Frontier, 최소한의 노력으로 얻는 최상의 성능)'은 다음과 같다고 결론짓습니다:

• 하나의 강력한 백본: 강력한 파운데이션 모델(DINOv3-ConvNeXt와 같은)을 사용하십시오.
• 올바른 레시피: 단계적 학습률 감소(staged learning rate decay)를 포함한 특정 스케줄로 주의 깊게 훈련하십시오.
• 정확한 희소 리랭킹(Exact Sparse Re-ranking): 상위 결과를 재확인하기 위한 영리하고 메모리 효율적인 트릭을 사용하십시오.

이 조합은 가장 복잡한 멀티 브랜치 시스템의 성능과 일치하면서도 계산 능력은 훨씬 적게 소모합니다.

이것이 미래에 의미하는 바

이 논문은 다양성이 결코 유용하지 않다고 말하는 것이 아닙니다. 이 특정 작업, 이 특정 유형의 AI, 그리고 이 규모의 데이터에 대해서는 다양성이 보상을 주지 않는다는 것을 말합니다. "다다익선" 법칙은 깨졌습니다.

저자들은 자신들의 주장이 틀렸음을 입증할 수 있는 요소들(그들의 '반증 가능성')을 신중하게 나열했습니다:

• 누군가가 ConvNext 두뇌와의 격차를 좁힐 수 있는 트랜스포머 훈련 방법을 찾아내는 경우.
• 두 두뇌를 구별되게 유지하는 완전히 다른 유형의 사전 학습을 사용하는 경우.
• 단일 두뇌가 아직 '포화(saturated)'되지 않은 훨씬 더 작은 데이터셋에서 이 실험을 하는 경우.

하지만 현재로서는 메시지가 명확합니다: 복잡한 전문가 팀을 만드는 일을 멈추십시오. 대신, 한 명의 천재를 찾고, 그들을 잘 가르친 뒤, 그 일이 수행되도록 하십시오. 그것이 더 빠르고, 더 저렴하며, 똑똑합니다.