CCS: A Continuous Spatial-Semantic Concordance Score for Robust Evaluation of Object Detection Models

당신이 거대하고 어지러운 방에서 숨겨진 물건을 찾는 재능 있는 참가자들을 심사하는 오디션 프로그램의 심사위원이라고 상상해 보십시오. 컴퓨터 비전의 세계에서 이 '참가자들'은 AI 모델이며, '물건'은 고양이, 자동차, 혹은 이 경우에는 한의학의 다양한 설진(혀의 증상)과 같은 것들입니다. 수년 동안 심사위원들은 매우 엄격한 '전부 아니면 전무(all-or-nothing)' 식의 규칙 책을 사용해 왔습니다. 만약 AI가 그린 상자가 실제 물체와 최소 50% 이상 겹치면 완벽한 '정답' 도장을 찍어줍니다. 하지만 상자가 49%만 겹친다면, AI는 물체를 아예 놓친 것과 똑같이 '오답' 도장을 받게 됩니다. 이는 마치 무용 경연 대회에서서 춤 동작 하나를 단 1mm 틀렸다는 이유로 전체 안무를 잊어버린 사람과 똑같은 점수를 받는 것과 같습니다. 이 '하드 임계값(hard-threshold)' 규칙은 AI 탐정들이 얼마나 잘하는지를 측정하는 표준 방식이지만, 어떤 실수는 다른 실수보다 훨씬 더 정답에 가깝다는 사실을 간과한다는 결함이 있습니다.

이제, 단순히 상자만을 보는 것이 아니라 추측의 '의도'까지 듣는 새로운 종류의 심사위원을 상상해 보십시오. 이 새로운 심사위원은 AI가 실제 정답이 '적점설(붉은 반점이 있는 혀)'일 때 '적설(붉은 혀)'이라고 답했다면, 그것이 완전한 실패가 아니라 일반적인 개념을 이해하고 있다는 것을 보여주는 '아까운 실수(near-miss)'라는 점을 이해합니다. 이 논문은 이러한 더 똑똑한 심사위원 역할을 하는 CCS(Continuous Spatial-Semantic Concordance Score, 연속적 공간-의미 일치 점수)라는 새로운 채점 시스템을 소개합니다. CCS는 단순한 '합격/불합격' 스위치 대신 부분 점수를 부여합니다. CCS는 수학을 사용하여 AI의 상자가 실제 물체와 얼마나 가까운지(비록 서로 닿지 않더라도) 측정하고, 의료 용어의 가계도 내에서 AI의 레이블이 실제 정답과 얼마나 가까운지를 측정합니다. 저자들은 다양한 혀 증상을 포착하려는 6개의 서로 다른 AI 모델을 대상으로 테스트했으며, 기존의 엄격한 규칙들이 모델의 순위를 요동치게 만드는 반면, 이 새로운 CCS 점수는 '아까운 실수'를 단순한 실패가 아닌 발전의 징후로 인식하며 훨씬 안정적이고 공정하다는 것을 발견했습니다.

"전부 아니면 전무" 채점 방식의 문제점

오랫동안 AI 객체 탐지기를 채점하는 표준 방식은 매우 날카로운 절단점이 있는 '뜨겁다 또는 차갑다' 게임과 같았습니다. 당신의 추측이 충분히 '뜨겁다면'(즉, 상자가 실제 물체와 50% 이상 겹친다면) 점수를 얻습니다. 하지만 '차갑다면'(49.9% 겹친다면) 점수는 0점이 됩니다. 이것이 바로 IoU(Intersection over Union) 임계값입니다. 문제는 이것이 절벽을 만든다는 점입니다. 99% 완벽한 상자와 51% 완벽한 상자는 똑같은 점수를 받지만, 49% 완벽한 상자는 아무것도 받지 못합니다. 이는 학생의 에세이를 채점할 때, 아주 작은 오타 하나가 있는 종이에는 A를 주면서, 똑같은 오타에 쉼표 하나가 빠진 종이에는 F를 주는 것과 같습니다.

게다가, 이 오래된 시스템은 모든 오답을 똑같이 나쁜 것으로 취급합니다. 만약 AI가 '붉은 혀'를 보고 '푸른 혀'라고 부른다면, 그것은 큰 실수입니다. 하지만 '적점설(붉은 반점이 있는 혀)'을 '적설(붉은 혀)'이라고 불렀다면, 기존 시스템은 이를 '붉은 혀'를 '푸른 혀'라고 부른 것만큼이나 가혹하게 처벌합니다. 현실의 의학 세계에서 비슷한 두 붉은 혀를 혼동하는 것은 붉은색과 푸른색을 혼동하는 것보다 훨씬 작고 용서 가능한 실수입니다. 기존의 채점 시스템은 이러한 미묘한 차이를 완전히 무시합니다.

등장한 CCS: "부분 점수"를 주는 심사위원

이 논문의 저자인 Quoc Thai Mai는 이러한 문제를 해결하기 위해 CCS라는 새로운 점수를 제안합니다. 그는 두 가지 재료가 섞여 더 맛있는 스무디처럼, 두 가지 구성 요소로 CCS를 만들었습니다.

1. 공간적 부분 (Csp): "부드러운" 상자
CCS는 AI의 상자를 딱딱한 가장자리를 가진 경직된 직사각형으로 취급하는 대신, 상자를 부드럽고 흐릿한 구름(수학적으로 2D 가우시안 분포)으로 상상합니다. 이것은 히트맵(heat map)과 같습니다. 상자의 중심은 가장 뜨겁고(확신이 높고), 가장자리로 갈수록 점점 식어갑니다. AI의 흐릿한 구름이 실제 물체의 흐릿한 구름과 겹칠 때, 두 중심점이 완벽하게 일치하지 않는다는 이유만으로 점수가 0으로 떨어지지 않습니다. 대신, 중심점이 얼마나 떨어져 있는지와 크기가 얼마나 다른지에 따라 점수가 부드럽게 감소합니다. 즉, 중심에서 약간 벗어난 상자라도 완전히 놓친 것처럼 가혹하게 처벌받는 대신 높은 점수를 받을 수 있습니다. 이는 심사위원이 "과녁 중앙을 놓쳤지만, 근처에 왔으니 B를 주겠다"라고 말하는 것과 "과녁을 놓쳤으니 F를 주겠다"라고 말하는 것의 차이입니다.

2. 의미적 부분 (Csem): 실수의 "가계도"
이것은 영리한 두 번째 재료입니다. 저자들은 8가지의 서로 다른 혀 증상을 가계도(분류 체계)로 정리했습니다. 예를 들어, '적설(붉은 혀)'과 '적점설(붉은 반점이 있는 혀)'은 '색상' 가지에 속한 형제 관계인 반면, '설창(혀가 부어오름)'은 '모양' 가지에 있습니다. 만약 AI가 '적점설'에 대해 '적설'이라고 추측한다면, 기존 시스템은 '틀림'이라고 말합니다. 하지만 CCS 시스템은 가계도를 살펴보고, 그들이 형제 관계임을 확인한 뒤, "좋습니다, 근접한 추측입니다. 부분 점수를 드립니다"라고 말합니다. CCS는 Wu-Palmer 유사도라는 수학적 도구를 사용하여, 추측이 가계도에서 얼마나 떨어져 있는지에 따라 정답과 얼마나 가까운지를 정확하게 계산합니다. 만약 AI가 '모양' 문제에 대해 '적설'이라고 답한다면 그것은 완전한 실패(0점)입니다. 하지만 '적점설'에 대해 '적설'이라고 답했다면, 높은 부분 점수를 받게 됩니다.

연구 결과: 안정성과 공정성

연구팀은 이 새로운 CCS 점수를 6가지 버전의 인기 있는 AI 모델(YOLOv8, v10, v11)을 대상으로 혀 증상 데이터셋에 테스트했습니다. 결과는 다음과 같습니다.

• 기존 규칙은 불안정했습니다: 기존의 '하드 임계값' 규칙을 사용했을 때, 임계값을 0.3, 0.5, 또는 0.7로 설정하느냐에 따라 AI 모델의 순위가 크게 바뀌었습니다. 실제로 15개 모델 쌍 중 5개 쌍에서, 어떤 규칙을 사용하느냐에 따라 '승자'가 뒤바뀌었습니다. 이는 결승선이 몇 인치 움직였다는 이유만으로 우승자가 바뀌는 경주와 같았습니다.
• CCS는 매우 견고했습니다: CCS 점수는 놀라울 정도로 안정적이었습니다. 설정을 어떻게 조정하더라도 모델의 순위가 뒤바뀌지 않았습니다. 모델들의 점수는 일관되게 0.62에서 0.65 사이를 유지한 반면, 기존의 F1 점수는 규칙이 엄격해짐에 따라 최대 16.9%까지 크게 떨어졌습니다.
• "아까운 실수"의 구제: 연구에 따르면, 기존 시스템이 '오류'라고 불렀던 것 중 상당 부분이 사실은 '근접한 실수(near-misses)'였습니다. 구체적으로, 가장 어려운 클래스에서 발생한 실수 중 **39.5%**는 의미론적으로 가까웠습니다(예: '적설'과 '적점설'을 혼동하는 경우). 기존 시스템은 이를 완전한 실패로 간쳤지만, CCS는 부분 점수를 부여함으로써 AI가 실제로는 기존 점수가 시사하는 것보다 더 잘 수행하고 있음을 드러냈습니다.
• "최고"의 모델이 바뀌었습니다: 기존의 엄격한 규칙(mAP) 하에서는 한 모델(YOLOv10n)이 승자로 보였습니다. 그러나 새로운 CCS 규칙 하에서는 다른 모델(YOLOv8m)이 1위를 차지했습니다. 이는 기존 규칙이 픽셀 단위로 완벽한 중심을 맞추는 데 특화된 모델을 선호한 반면, CCS는 일반적인 개념과 증상의 형태를 더 잘 이해하는 모델을 선호했음을 시사합니다.

한계점: CCS가 아직 하지 못하는 것

저자들은 CCS가 모든 것을 해결하는 마법 지팡이가 아님을 분명히 밝히고 있습니다.

• "클래스 단위" 점수입니다: 현재 CCS는 AI가 특정 클래스(예: '적설')에 대해 적어도 하나의 좋은 상자를 찾아내면 해당 클래스가 존재하는 것으로 간주합니다. AI가 혀 위에 20개의 붉은 점이 있는데 그중 1개만 찾아냈다고 해서 벌점을 주지는 않습니다. 논문은 '적점설'과 같은 일부 증상의 경우 한 이미지에 수십 개의 점이 있을 수 있으며, 현재의 CCS 방식은 놓친 점들을 무시한다고 명시했습니다.
• 가계도는 임시적입니다: 그들이 만든 혀 증상의 '가계도'는 수학적 계산을 위해 저자들이 만든 것이지, 의료 전문가 패널이 만든 것이 아닙니다. 이는 '잠정적인' 트리입니다. 만약 실제 의사가 "아니요, 그 두 증상은 서로 관련이 없습니다"라고 말한다면, 점수는 다시 계산되어야 합니다.
• 단 하나의 데이터셋: 이 연구는 단 하나의 혀 이미지 데이터셋만을 사용했습니다. 결과는 유망하지만, 추가적인 테스트 없이 이 방식이 자동차, 종양 또는 다른 물체를 탐지하는 데도 완벽하게 작동할지는 아직 알 수 없습니다.

결론

이 논문은 우리가 AI 탐지기를 채grading하는 새로운 방식이 필요함을 시사합니다. 기존의 '합격/불합격' 시스템은 너무 가혹하고 불안정하여, AI가 약간 빗나갔다는 이유로 처벌하고 어떤 실수가 더 똑똑한 실수인지 무시합니다. CCS 점수는 공간적으로 가깝고 의미적으로 가까울 때 부분 점수를 부여함으로써, AI를 평가하는 더 부드럽고 공정한 방법을 제공합니다. 비록 아직 모든 의료 적용 분야에 바로 사용할 수 있는 완성된 제품은 아니지만, 경계가 모호한 경우가 많은 전통 의학 분야에서 특히 AI 평가를 더욱 인간 친화적이고 임상적으로 유의미하게 만들 수 있는 큰 가능성을 보여줍니다.