당신이 컴퓨터에게 동물을 인식하는 법을 가르치고 있다고 상상해 보세요. 단순히 "새"라고 말하는 것을 넘어, "이것은 새이며, 구체적으로는 명창류(songbird)이고, 더 구체적으로는 붉은날개검은머리새(Red-winged Blackbird)이다"라고 말할 수 있는 진정한 전문가로 만들고 싶습니다. 이것을 **미세 분류(Fine-Grained Visual Classification)**라고 부릅니다. 이는 마치 두 쌍둥이를 구별하는 것과 고양이와 개를 구별하는 것의 차이를 배우는 것과 같습니다. 문제는 컴퓨터에게 이 모든 수준을 한꺼번에 가르치려 할 때 컴퓨터가 종종 혼란을 겪는다는 점입니다.

이를 위해 연구자들은 패턴을 학습하는 "백본(backbone, 심층 신경망)"을 사용합니다. 또한 그들은 데이터의 가족 계보와 같은 **계층적 레이블(hierarchical labels)**을 사용합니다: 목(Order, 광범위함), 과(Family, 중간), 종(Species, 매우 구체적). 이론적으로는 넓은 범주를 먼저 가르치는 것이 나중에 더 구체적인 것을 배우는 데 도움이 됩니다. 마치 알파벳을 배우는 것이 철자를 익히는 데 도움이 되는 것과 같습니다. 하지만 실제로 이 모든 수준을 동시에 학습시키려고 하면 컴퓨터의 뇌는 제자리를 맴돌게 됩니다. "넓은" 레슨과 "구체적인" 레슨이 때로는 서로 반대 방향으로 끌어당기며 **그래디언트 충돌(gradient conflict)**을 일으키기 때문입니다. 이는 마치 두 명의 코치가 서로 다른 지시를 내리며 소리를 지르는 것과 같아서, 선수는 앞으로 나아가는 대신 지그재그로 뛰게 됩니다.

"FlexiGrad"라는 제목의 이 논문은 바로 그 문제를 해결합니다. 저자인 베이징 통신대학교의 주 즈루(Zilu Zhou)와 동료들은 컴퓨터가 학습하는 방식을 고치기 위한 영리하고 비용이 들지 않는 트릭을 제안합니다. 그들은 "넓은" 코치와 "구체적인" 코치가 서로 의견이 다를 때, 컴퓨터가 단순히 한쪽의 말을 무시해서는 안 된다는 것을 발견했습니다. 대신 FlexiGrad는 학습 과정 중의 현명한 심판 역할을 합니다. 그것은 두 코치의 말을 모두 경청하고, 정확히 어디에서 충돌이 발생하는지 파악한 뒤, 갈등을 일으키는 부분만을 정교하게 제거합니다. 만약 코치들이 같은 방향을 가리킨다면, FlexiGrad는 그 신호를 강화하여 학습을 더욱 강력하게 만듭니다.

그 결과, 학습 과정은 훨씬 더 매끄럽고 빨라집니다. 컴퓨터는 큰 그림(예: 새의 형태)을 보는 동시에 아주 미세한 디테일(예: 깃털의 색상)로 줌인하여 혼란 없이 학습할 수 있습니다. 연구진은 세 가지 유명한 조류, 항공기, 자동차 데이터셋을 통해 테스트를 진행했습니다. 그들은 FlexiGrad가 단순히 컴퓨터를 약간 더 좋게 만든 것이 아니라, 특히 차이가 미세하고 혼란도가 높은 종이나 차량을 식별하는 능력을 크게 향상시켰음을 발견했습니다. 이 방법은 단순하며, 추가적인 하드웨어를 요구하지 않고, 거의 모든 기존 컴퓨터 비전 모델과 호환됩니다. 이는 때때로 가장 좋은 학습 방법은 어떻게 들어야 하는지를 정확히 아는 것임을 증명합니다.

문제점: 컴퓨터 뇌 속의 줄다리기

당신이 기타를 배우는 것과 같은 새로운 기술을 배우고 있는데, 두 명의 선생님이 있다고 상상해 보세요. 선생님 A("거친" 선생님)는 리듬과 코드의 일반적인 형태에 집중하기를 원합니다. 선생님 B("미세한" 선생님)는 정확한 음을 내기 위해 손가락 끝의 아주 정밀한 움직임에 집중하기를 원합니다.

이상적으로는 이 두 선생님이 협력해야 합니다. 하지만 컴퓨터 비전의 세계에서는 종종 싸움이 일어납니다. 컴퓨터가 두 가지를 동시에 배우려고 할 때, 선생님 A는 "손을 왼쪽으로 움직여!"라고 말하는 반면, 선생님 B는 "아니, 오른쪽으로 움직여!"라고 말할 수 있습니다. 수학적 언어로 표현하면, 그들의 "그래디언트"(컴퓨터의 뇌를 어떻게 변화시킬지에 대한 지시)가 서로 반대 방향을 가리키는 것입니다. 이것을 **계층적 그래디언트 충돌(hierarchical gradient conflict)**이라고 합니다.

이런 일이 발생하면 컴퓨터는 갇혀버립니다. 두 지시를 모두 따르려다 보니, 제대로 된 학습 없이 엉망진창인 지그재그 경로를 그리게 됩니다. 이는 줄다리기를 하는데 줄이 움직이지 않거나, 최악의 경우 줄이 끊어져 버리는 것과 같습니다. 이를 해결하려는 이전의 시도들은 너무 투박했습니다. 어떤 방법들은 선생님들이 서로 대화하는 것을 차단했는데, 이는 컴퓨터가 유용한 힌트를 놓치게 만들었습니다. 또 다른 방법들은 지시를 평균 내려고 했으나, 이는 종종 가장 중요한 세부적인 조언을 희석시켜 버렸습니다.

해결책: 스마트한 심판 (FlexiGrad)

이 논문의 저자들은 컴퓨터의 훈련 세션 동안 심판 역할을 하는 FlexiGrad라는 방법을 도입했습니다. 단순히 선생님들을 차단하거나 강제로 합의를 유도하는 대신, FlexiGrad는 그들의 지시 사이의 "각도"를 경청합니다.

작동 방식은 다음과 같습니다:

1. 불일치를 경청하기: "거친" 선생님과 "미세한" 선생님이 반대 방향으로 끌어당기는 지시를 내릴 때, FlexiGrad가 개입합니다. 이는 미세한 선생님의 지시 전체를 삭제하는 것이 아닙니다. 대신, 거친 선생님에게 대항하는 지시의 정확한 부분을 계산하여 오직 그 해로운 부분만을 제거합니다. 여전히 유용한 나머지 지시는 유지됩니다.
2. 합의를 강화하기: 선생님들이 동의하거나(혹은 대부분 동의할 때), FlexiGrad는 단순히 내버려 두지 않습니다. 부드러운 슬라이딩 스케일을 사용하여 그들의 결합된 힘을 증폭시킵니다. 만약 그들이 80% 일치한다면, 그 공유된 방향을 증폭시켜 컴퓨터가 특정 디테일을 훨씬 더 빠르게 배우도록 만듭니다.
3. 추가 비용 없음: 가장 좋은 점은 FlexiGrad가 "파라미터 프리(parameter-free)"라는 것입니다. 컴퓨터의 뇌에 새로운 부분을 추가하거나 추가 메모리를 요구하지 않습니다. 단지 컴퓨터가 이미 가지고 있는 지시를 처리하는 방식을 바꿀 뿐입니다.

연구 결과: 더 매끄러운 경로, 더 날카로운 눈

연구진은 세 가지 주요 데이터셋을 통해 FlexiプトGrad를 테스트했습니다:

• CUB-200-2011: 목(Order), 과(Family), 종(Species)으로 레이블링된 11,877장의 새 이미지.
• FG_V_C-Aircraft: 제조사(Maker), 계열(Family), 모델(Model)로 레이블링된 10,000장의 비행기 이미지.
• Stanford Cars: 제조사(Maker)와 모델(Model)로 레이블로 지정된 8,144장의 자동차 이미지.

그들은 FlexiGrad를 표준 "Vanilla" 방식(선생님들이 싸우는 방식), 선생님들의 대화를 차단하는 방식(FGoN), 그리고 충돌을 피하기 위해 지시를 수학적으로 투영하는 방식(PCGrad)을 포함한 다른 방법들과 비교했습니다.

결과:

• 더 높은 정확도: FlexiGrad는 일관되게 다른 모든 방법을 이겼습니다. 조류 데이터셋에서, 다음으로 우수한 방법인 PCGrad의 88.30%와 비교하여 평균 정확도 **89.19%**를 달성했습니다.
• "어려운" 사례에서의 승리: 가장 큰 개선은 가장 어려운 카테고리에서 나타났습니다. 예를 들어, 조류 데이터셋의 경우, 가장 어려운 작업인 "종(Species)" 단계에서 컴퓨터가 **79.79%**의 정답률을 보였습니다. 이는 FlexiGrad가 보통 가장 많은 문제를 일으키는 작고 혼란스러운 디테일을 해결하는 데 특히 탁월하다는 것을 시사합니다.
• 시각적 증거: 저자들은 컴퓨터가 무엇을 "보고 있는지" 확인하기 위해 (Grad-CAM이라는 기술을 사용하여) 조사했습니다. FlexiGrad를 사용했을 때 컴퓨터의 초점은 명확하고 논리적이었습니다. "목" 단계에서는 새 전체를 보았고, "과" 단계에서는 몸의 형태를 보았으며, "종" 단계에서는 특정 부리나 깃털의 디테일을 보았습니다. 다른 방법들은 종종 혼란스럽고 흩어진 초점을 보였습니다.
• 속도: 이 방법은 매우 효율적이었습니다. 표준 방식에 비해 훈련 과정에 약 **7.4%**의 시간만을 추가했을 뿐인데, 이는 상당한 성능 향상을 위해 지불하기에 매우 작은 대가입니다.

이것이 왜 중요한가

이 논문은 문제가 데이터나 새와 자동차의 복잡성에 있었던 것이 아니라, 컴퓨터가 어떻게 배우고 있었는지에 있었다고 시사합니다. 서로 다른 학습 수준을 전장(battlefield)이 아닌 협력적인 팀으로 다룸으로써, FlexiGrad는 컴퓨터가 "일관된" 이해를 구축할 수 있게 합니다. 컴퓨터는 큰 그림과 미세한 디테일을 동시에 배울 수 있으며, 두 가지가 서로를 상쇄하지 않도록 합니다.

저자들은 이 접근 방식이 다양한 유형의 컴퓨터 아키텍처(ResNet, Swin, ViT 등)와 잘 작동한다는 점을 언급하며, 이는 FlexiGrad가 많은 기존 시스템에 삽입될 수 있는 다재다능한 도구임을 의미합니다. 그들이 모든 AI 문제를 해결했다고 주장하는 것은 아니지만, 갈등하는 지시를 다루는 단순하고 스마트한 방법이 특히 매우 유사한 것들을 구별해야 하는 작업에서 훨씬 더 날카롭고 안정적인 학습을 이끌어낼 수 있음을 입증했습니다.