Adaptive Hard Negative Mining for Fine Grained Vision Language Understanding A Negative Result and Analysis

현대 컴퓨터는 사진을 보고 단어를 읽는 데 있어 매우 뛰어난 능력을 갖추게 되었으며, 종종 이 둘을 하나의 통합된 경험으로 취급합니다. 만약 기계에게 해변 사진을 보여주며 장면을 설명하라고 요청하면, 기계는 대개 모래, 물, 그리고 아마도 몇 명의 사람이 있다고 말할 수 있습니다. 시각-언어 이해(vision-language understanding)라고 알려진 이 능력은 우리가 이미지를 검색하고 디지털 라이브러리를 정리하는 방식을 변화시켰습니다. 그러나 시스템이 장면을 일반적으로 설명할 수 있다고 해서, 그것이 그 안의 구체적인 세부 사항까지 이해한다는 것을 의미하지는 않습니다. 개가 세 마리인지 네 마리인지 구분하거나, 공이 나무의 왼쪽에 있는지 오른쪽에 있는지 말하라는 질문을 받았을 때, 이러한 시스템들은 종종 비틀거리며 무작위 추측보다 나은 성과를 내지 못하곤 합니다. 이러한 일반적인 유창함과 정밀한 추론 사이의 간극은 연구자들이 해결하고자 하는 핵심적인 과제입니다.

콰메 은크루마 과학기술대학교(Kwame Nkrumah University of Science and Technology)의 한 과학자 팀은 이러한 모델이 미세한 세부 사항에 대해 더 똑똑해지도록 설계된 특정 훈련 방법을 테스트함으로써 이 문제를 다루었습니다. 그들은 SPEC이라고 불리는 데이터셋을 활용했는데, 이 데이터셋은 사물의 크기, 위치, 존재 여부, 그리고 개수라는 네 가지 까다로운 개념을 판단하는 기계의 능력을 테스트하기 위해 특별히 구축되었습니다. 이 데이터셋은 일련의 수수께끼처럼 구성되어 있습니다. 모든 이미지에 대해 컴퓨터는 여러 가지 서로 다른 설명을 제시받으며, 그중 단 하나만이 정답입니다. 나머지 설명들은 매우 유사하며, 오직 "둘"을 "셋"으로 바꾸거나 "왼쪽"을 "오른쪽"으로 바꾸는 것과 같은 단 하나의 세부 사항만 다릅니다. 이러한 설정은 모델이 일반적인 패턴에 의존하는 대신 정확한 차이에 주목하도록 강제합니다.

연구진은 먼저 고정된 하드 네거티브 마이닝(fixed hard-negative mining)이라는 기법을 사용하여 표준 시각-언어 모델을 훈련시켰습니다. 이 방식에서 컴퓨터는 이미지와 일련의 오답들을 제시받고, 모든 오답을 똑같이 어려운 것으로 취급하도록 학습합니다. 모델은 정답인 설명을 이미지에 더 가깝게 밀어 넣고, 모든 오답은 멀리 밀어내는 법을 배웁니다. 이 방법은 아주 효과적이었습니다. 이 데이터셋으로 훈련함으로써 모델의 정확도는 약 33퍼센트의 기준치에서 거의 89퍼센트까지 급등했습니다. 모델은 크기, 위치, 존재, 개수의 미묘한 차이를 분명히 구별하는 법을 배웠습니다.

이러한 성공에 고무된 연구진은 모델이 실수로부터 배우는 방식을 바꿈으로써 모델을 더 개선할 수 있을지라는 자연스러운 질문을 던졌습니다. 많은 학습 시스템에서 모든 실수가 동일한 가치를 지니는 것은 아닙니다. 어떤 실수는 무시해도 될 만큼 명백한 오류인 반면, 어떤 실수는 가장 가치 있는 교훈을 주는 혼란스러운 근접 오류입니다. 이 개념은 적응형 하드 네거티브 마이닝(adaptive hard-negative mining)이라 불립니다. 연구진은 컴퓨터가 현재 자신이 어떤 오답 때문에 혼란을 겪고 있는지 지속적으로 확인하는 새로운 방법을 제안했습니다. 만약 모델이 특정 유형의 오류로 어려움을 겪고 있다면, 시스템이 해당 오류에 더 많은 가중치를 부여하여 모델이 그곳에 집중하도록 강제하는 것입니다. 이는 데이터셋에 모델이 분류할 수 있는 쉬운 예시와 어려운 예시가 섞여 있을 것이라는 가정하에 논리적인 단계였습니다.

그러나 결과는 놀라운 실패였습니다. 연구진이 이 적응형 방법을 적용했을 때, 모델의 성능은 급격히 떨어졌습니다. 개선되기는커녕, 평균 정확도는 더 단순한 고정 방식에 비해 23퍼센트 포인트 하락했습니다. 특정 카테고리에서는 그 하락 폭이 더 심각하여, 고정 방식보다 30포인트 이상 낮은 성능을 보이기도 했습니다. 연구진은 이 실패의 원인을 테스트 자체의 설계에서 찾아냈습니다. SPEC 데이터셋은 매우 정교하게 구축되었기 때문에, 세트 내의 모든 오답은 진정으로 어려웠습니다. 무시할 수 있는 쉬운 실수도 없었고, 경감할 수 있는 쉬운 예시도 없었습니다. "난이도"는 전반적으로 균일했습니다. 적응형 시스템이 난이도에 따라 예시의 가중치를 재설정하려고 했을 때, 따라갈 수 있는 신호를 찾지 못했습니다. 도움을 주는 대신, 가중치의 끊임적인 변화는 훈련 과정을 불안정하게 만들어 모델이 중심을 잃게 만들었습니다.

더 깊이 파고들기 위해, 팀은 모델이 개념을 진정으로 이해하고 있는지 아니면 단순히 고립된 상태로 암기하고 있는지를 알고 싶었습니다. 그들은 두 가지 서로 다른 개념을 결합한 SPEC++라는 새로운 진단 테스트를 만들었습니다. 예를 들어, 한 이미지 내에서 사물의 크기와 사물의 개수를 동시에 식별하도록 요구하는 식입니다. 만약 모델이 이 아이디어들을 하나의 일관된 이해로 결합하는 법을 배웠다면, 두 작업 모두를 동시에 잘 수행해야 합니다. 하지만 모델이 두 개념을 결합된 과제를 수행하는 성공률은, 마치 두 문제를 각각 따로 풀고 나서 단순히 확률을 곱한 것과 정확히 일치했습니다. 모델은 크기를 정확히 맞히고 개수도 정확히 맞힐 수는 있었지만, 그 사실들을 하나의 일관된 생각으로 엮어내는 것처럼 보이지는 않았습니다.

이러한 발견은 인공지능 분야에 조용하지만 중요한 경고를 던집니다. 이 연구는 데이터가 균일하게 어렵도록 큐레이션된 경우, 가장 단순한 훈련 방법이 종종 가장 효과적이며, 복잡성을 더하려는 시도가 오히려 성능을 해칠 수 있음을 시사합니다. 또한, 한 번에 하나의 개념만을 테스트하는 벤치마크에서 높은 점수를 얻는 것을 기계가 개념들이 어떻게 상호작용하는지 이해한다는 증거로 오해해서는 안 됩니다. 모델들은 개별적인 퍼즐을 매우 숙련되게 풀어내고 있지만, 아직 개념들을 연결된 하나의 이야기로 보는 전체 그림을 이해하는 법은 배우지 못하고 있습니다. 앞으로 나아갈 길은 아이디어의 진정한 결합을 요구하는 테스트를 구축하고, 기계가 세부 사항들을 단순히 분리되고 고립된 도전 과제로 취급하는 것이 아니라 이들을 연결하도록 장려하는 훈련 방법을 개발하는 데 있습니다.