💻 computer science

Cross-Granularity Ranking Disagreement for Uncertainty-Aware Image-Text Retrieval

이 논문은 여러 번의 순전파 과정 없이도 이미지-텍스트 검색에서 오류 탐지, 보정 및 선택적 예측을 개선하기 위해 글로벌 및 로컬 매칭 분포 간의 랭킹 공간 불일치로부터 검색 불확실성을 직접 추정하는 경량 프레임워크인 교차 입도 랭킹 불확실성(Cross-granularity Ranking Uncertainty, CRU)을 소개한다.

원저자: Wei Chen, Yuhang Chen

게시일 2026-08-07

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Wei Chen, Yuhang Chen

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 모든 책에 그림이 있고, 모든 그림 옆에는 이야기가 적혀 있는 거대한 도서관에 있다고 상상해 보세요. 당신의 임무는 완벽한 짝을 찾는 것입니다. 특정 문장에 어울리는 그림을 찾거나, 특정 사진을 설명하는 문장을 찾는 것이죠. 이것이 바로 이미지-텍스트 검색(image-text retrieval)의 세계이며, 검색 엔진, 쇼핑 앱, 디지털 아트 갤러리가 우리가 보는 것과 읽는 것을 연결하기 위해 사용하는 초능력입니다. 오랫동안 컴퓨터는 장면의 전반적인 분위기를 파악하는 "글로벌(global)" 뷰를 사용하여 이 작업에 매우 능숙해졌습니다. 하지만 까다로운 점이 있습니다. 컴퓨터가 일치하는 목록을 제공하더라도, 그것이 실제로 맞는지 알지 못할 때가 있다는 것입니다. 매우 자신만만하지만 완전히 틀릴 수도 있고, 두 사진이 거의 똑같아서 혼란스러워할 수도 있습니다. 현실 세계에서는 정답을 얻는 것만큼이나 컴퓨터를 언제 믿어야 할지 아는 것이 중요합니다. 만약 검색 엔진이 "이것은 확실히 알고 있지만, 저 마지막 것은 완전히 추측하고 있습니다"라고 말할 수 있다면, 훨씬 더 유용한 도구가 될 것입니다.

이것이 바로 웨이 첸(Wei Chen)과 유항 첸(Yuhang Chen)이 새로운 연구에서 다루고 있는 문제입니다. 그들은 컴퓨터가 일치하는 목록의 순위를 매기는 데는 뛰어나지만, 그 순위가 얼마나 "흔들리는지"는 말해주지 못한다는 점에 주목했습니다. 이를 해결하기 위해 그들은 CRU(Cross-granularity Ranking Uncertainty, 교차 입도 순위 불확실성)라고 불리는 새로운 시스템을 구축했습니다. 이것을 미스터리를 풀기 위해 서로 다른 두 명의 탐정을 고용하는 것으로 생각해 보세요. "글로벌(Global)" 요원은 큰 그림을 봅니다: "이것은 해변 장면인가요? 네." 다른 한편으로 "로컬(Local)" 요원은 아주 작은 세부 사항까지 확대해서 봅니다: "그 사람은 빨간 신발을 신고 있나요? 네. 파란 우산이 있나요? 아니요." 보통 이 둘은 의견이 일치합니다. 하지만 이들이 의견이 갈릴 때—즉, 글로벌 요원이 "해변!"이라고 말하는데 로컬 요원이 "산 위의 빨간 신발"을 보고 있을 때—그것은 커다란 경고 신호입니다. CRU는 이 불일치를 사용하여 "걱정 점수(worry score)"를 계산합니다. 점수가 높으면 시스템은 답이 틀렸을 수도 있다는 것을 압니다. 연구진은 두 명의 탐정에게 귀를 기울이고 그들이 논쟁하고 있는지 확인함으로써, 그들의 시스템이 더 나은 매칭을 찾아낼 뿐만 아니라, 언제 "이보세요, 이 부분은 잘 모르겠습니다"라고 말해야 하는지 정확히 알게 된다는 것을 발견했습니다. 이를 통해 전체 검색 과정을 더 스마트하고 신뢰할 수 있게 만들었습니다.

두 명의 탐정과 걱정 점수

이미지-텍스트 검색의 세계에서 컴퓨터는 보통 사진과 문장을 수학적 숫자(임베딩이라고 불림)로 변환하고 그 숫자들이 얼마나 가까운지 확인하여 서로 매칭합니다. 전통적인 방식은 종종 단일한 "글로벌" 뷰에 의존하는데, 이는 마치 방 건너편에서 그림을 보는 것과 같습니다. 그것이 풍경화라는 것은 알 수 있지만, 구석에 있는 개가 사실은 고양이라는 점은 놓칠 수 있습니다. 다른 방식들은 특정 단어를 이미지의 특정 부분과 매칭하는 것과 같은 "로컬" 세부 사항을 보려고 시도하지만, 이는 느리고 번거로울 수 있습니다.

이 논문의 저자들은 오류를 찾는 가장 좋은 방법이 더 크고 복잡한 모델을 만드는 것이 아니라, 이러한 두 가지 관점 사이의 차이에 귀를 기울이는 것이라고 주장합니다. 그들은 컴퓨터가 두 명의 심판 패널처럼 작동하는 프레임워크를 만들었습니다.

글로벌 심판: 전체 이미지와 문장을 보고 주요 개념을 파악합니다.
로컬 심판: 이미지의 아주 작은 조각들과 특정 단어들을 살펴보고 세부 사항을 확인합니다.

완벽한 세상이라면 두 심판 모두 상위 매칭 항목에 대해 동의할 것입니다. 하지만 현실 세계에서는 종로가 갈리는 경우가 많습니다. 예를 들어, 글로벌 심판은 "일몰" 이미지가 "일몰"에 관한 문장과 일치한다고 생각하지만, 로컬 심판은 문장이 "바다 위의 일몰"이라고 말하고 이미지는 실제로는 "사막 위의 일몰"임을 알아챌 수 있습니다.

CRU의 작동 원리: "불일치" 감지기

CRU의 마법은 이 불일치를 측정하는 방식에 있습니다. 단순히 "얼마나 자신 있습니까?"라고 묻는 대신(이는 컴퓨터가 자신만만하게 틀릴 경우 오해를 불러일으킬 수 있습니다), CRU는 두 가지 구체적인 질문을 던집니다.

모호성(Ambiguity): 컴퓨터가 혼란스러워하고 있나요? 만약 두 심판이 자신의 표를 여러 다른 이미지에 분산시키고 있다면, 시스템은 답이 모호하다는 것을 압니다.
불일치(Disagreement): 심판들이 싸우고 있나요? 만약 글로벌 심판은 이미지 A가 최고라고 100% 확신하지만, 로컬 심판은 이미지 B가 최고라고 100% 확신한다면, 그것은 충돌입니다.

CRU는 이 두 가지 느낌을 하나의 "불확실성 점수(Uncertainty Score)"로 결합합니다. 점수가 낮으면 시스템은 확신이 있으며 순위가 정확할 가능성이 높습니다. 점수가 높으면 시스템은 무언가 수상하다는 것을 압니다.

이것이 특별한 이유는 컴퓨터의 뇌를 여러 번 실행할 필요가 없기 때문입니다(동일한 테스트를 반복해서 실행하여 추측하려는 다른 방법들처럼 말이죠). CRU는 단 한 번의 통과(pass)로 이 모든 것을 수행합니다. 이는 두 명의 탐정이 사건을 한 번에 해결하고 즉시 서로의 노트를 비교하여 서로 같은 페이지에 있는지 확인하는 것과 같습니다.

결과: 빠르기만 한 것이 아니라 더 스마트하게

연구진은 세 가지 유명한 데이터셋인 Flickr30K-1K, MS-COCO-1K, MS-COCO-5K를 사용하여 새로운 시스템을 테스트했습니다. 이것들은 AI를 훈련시키는 데 사용되는 거대한 사진 및 캡션 라이브러리입니다.

결과는 다음과 같습니다:

더 높은 정확도: CRU는 단순히 오류를 더 잘 찾아내는 데 그치지 않고, 실제로 더 나은 매칭을 찾아냈습니다. Flickr30K-1K 테스트에서 rSum이라 불리는 점수 520.4를 달성했습니다. MS-COCO-1K에서는 535.1을, 더 큰 규모인 MS-COCO-5K에서는 446.9를 기록했습니다. 이 수치들은 이전의 최고 방법들보다 높았으며, 이는 시스템이 올바른 사진을 더 자주 찾아냈음을 의미합니다.
더 나은 오류 탐지: 오류를 포착하는 데 있어서 CRU는 챔피언이었습니다. 가장 강력했던 이전 방법(PCME++라고 불림)과 비교했을 때, CRU는 오류 탐지 능력(AUROC로 측정됨)을 4.3에서 4.6 포인트 개선했습니다.
보정(Calibration): 이것은 "정직함"을 뜻하는 멋진 단어입니다. 만약 시스템이 90% 확신한다고 말한다면, 실제로 90%의 확률로 맞아야 합니다. CRU는 다른 방법들보다 이 점에서 훨씬 뛰어났습니다. ECE(Expected Calibration Error)를 0.023까지 낮추어, 그의 자신감 수준이 실제와 매우 가깝게 유지되도록 했습니다.
선택적 검색(Selective Retrieval): 이것은 "이것은 잘 모르겠으니 건너뛰겠다"라고 말할 수 있는 능력입니다. 연구진이 시스템에 가장 불확실한 답변들을 건너뛰라고 지시했을 때, 오류율이 크게 떨어졌습니다. CRU는 기존 최고의 베이스라인과 비교하여 AURC(Area Under the Risk-Coverage Curve)를 **16.4%에서 21.6%**까지 감소시켰습니다. 이는 확신이 없는 추측들을 단순히 무시하는 것만으로도 시스템이 훨씬 더 신뢰할 수 있게 되었다는 것을 의미합니다.

이것이 왜 중요한가

이 논문은 글로벌 매칭과 로컬 매칭을 단순히 점수를 얻기 위한 단계가 아니라 "상호 보완적인 의견"으로 취급함으로써, 정확할 뿐만 아니라 자기 인식이 가능한 시스템을 구축할 수 있다고 제안합니다. 저자들은 이러한 통찰력을 얻기 위해 수천 번 실행되는 복잡한 확률 모델이 필요하다는 생각을 명시적으로 부정합니다. 대신, 두 가지 다른 "관점" 사이의 불일치를 확인하는 단순하고 결정론적인(단 한 번의) 통과만으로도 충분하다는 것을 보여줍니다.

또한 그들은 시스템이 훌륭하지만 완벽하지는 않다고 언급합니다. 시스템은 훈련된 데이터에 의존하며, 세상이 급격하게 변할 경우(예를 들어 사람들이 사진을 찍거나 캡션을 쓰는 방식이 갑자기 변하는 경우), 시스템은 재보정이 필요할 수 있습니다. 하지만 현재로서 CRU는 단순히 답을 주는 것이 아니라, 자신이 그것을 얼마나 믿을 수 있는지까지 알려주는 이미지 검색 엔진을 만드는 실용적이고 효율적인 방법을 제공합니다. 이는 맹목적인 검색을 컴퓨터가 "알 것 같지만, 다시 한번 확인해 보겠습니다"라고 말할 수 있는 대화로 바꿉니다.

기술 요약: 불확실성 인지형 이미지-텍스트 검색을 위한 교차 입도 랭킹 불일치 (Cross-Granularity Ranking Disagreement)

1. 문제 정의

이미지-텍스트 검색 시스템은 일반적으로 랭킹 정확도(예: Recall@K)를 최적화하도록 설계되어 있지만, 반환된 리스트의 신뢰도를 나타내는 메커니즘은 부족합니다. 실제 시나리오에서는 쿼리가 불완전하거나, 후보군이 거의 구별 불가능하거나, 중요한 속성이 누락될 수 있습니다. 높은 유사도 점수만으로는 결과가 얼마나 신뢰할 수 있는지 알 수 없습니다.

기존의 불확실성 인지 접근 방식은 종종 임베딩 공간 내에서 확률 분포로 모달리티를 표현합니다. 그러나 이러한 불확실성은 간접적으로 학습되며 최종 랭킹의 오류 위험을 반영하지 못할 수 있습니다. 몬테카를로 드롭아웃(Monte Carlo dropout)이나 딥 앙상블(deep ensembles)과 같은 다른 방법들은 대규모 갤러리에서 사용하기에 계산 비용이 많이 드는 확률적 추론이나 다수의 모델을 요구합니다. 사후 확신도 측정(예: 상위 점수 마진)은 비용은 저렴하지만, 서로 다른 검색 메커니즘이 개별적으로는 확신을 가지면서도 후보 순서에 대해서는 서로 의견이 일치하지 않는 결정적 충돌을 감지하는 데 실패하는 경우가 많습니다.

2. 방법론: 교차 입도 랭킹 불확실성 (CRU)

저자들은 임베딩 공간이 아닌 후보 랭킹 공간에서 직접 검색 불확실성을 추정하는 결정론적 프레임워크인 CRU를 제안합니다. 이 방법은 공유된 한 쌍의 인코더로부터 유도된 두 가지 상호 보완적인 검색 "의견(opinions)", 즉 **글로벌 세맨틱 브랜치(Global Semantic Branch)**와 **로컬 디테일 브랜치(Local Detail Branch)**를 활용합니다.

2.1 이중 입도 특징 표현

프레임워크는 Vision Transformer (ViT)와 BERT 텍스트 인코더를 사용합니다.

글로벌 브랜치: 장면 수준의 의도를 포착하기 위해 글로벌 세맨틱 토큰(예: [CLS])을 추출합니다. 효율적이고 인덱싱 가능한 검색을 위해 코사인 유사도를 사용합니다.
로컬 브랜치: 온도 제어된 LogMeanExp 연산자를 사용하여 패치-단어 대응 관계를 집계합니다. 이 브랜치는 글로벌 벡터가 억제할 수 있는 미세한 세부 사항(속성, 수량, 관계)을 검증합니다.

2.2 후보 공간 랭킹 분포

두 브랜치를 비교하기 위해, CRU는 두 브랜치의 상위- $K$ 후보들을 합집합으로 취하여 공유 후보 지원 집합 $C_q$ 를 구성합니다. 원시 점수는 표준화된 후 소프트맥스를 통해 범주형 랭킹 분포 $p_g$ 및 $p_l$ 로 변환됩니다.

2.3 불확실성 분해

CRU는 신뢰성을 두 가지 별개의 실패 모드로 분해합니다:

브랜치 내 랭킹 모호성 ( $U_{amb}$ ): 각 브랜치 분포의 정규화된 샤논 엔트로피(Shannon entropy)로 측정됩니다. 높은 엔트로피는 해당 브랜치가 후보들 사이를 구별할 수 없음(분산된 증거)을 나타냅니다.
교차 입도 랭킹 불일치 ( $U_{dis}$ ): 글로벌 분포와 로컬 분포 사이의 젠슨-샤논(Jensen–Shannon) 발산으로 측정됩니다. 높은 발산은 두 브랜치 모두 확신을 가지고 있지만 서로 다른 후보를 선호함을 나타냅니다(상충하는 의견).

최종 불확실성 점수 $U(q)$ 는 이 두 구성 요소의 볼록 결합(convex combination)입니다:
$U(q) = \alpha U_{amb}(q) + (1 - \alpha)U_{dis}(q)$

2.4 확신도 인지 동적 퓨전 및 보정

동적 퓨전 (Dynamic Fusion): 모델은 브랜치 확신도( $1 - \text{entropy}$ )를 기반으로 쿼리 수준의 퓨전 가중치를 계산하여 융합된 유사도 점수 $S_f$ 를 생성합니다. 이는 최종 랭킹이 일관되고 해석 가능하도록 보장합니다.
정확도 인지 보정 (Correctness-Aware Calibration): 경량 로지스틱 보정기는 불확실성 점수 $U(q)$ 를 예측된 top-1 오류 확률 $\hat{r}_q$ 로 매핑합니다. 이는 실제 top-1 오류 지표에 대해 이진 교차 엔트로피 손실을 사용하여 학습되며, 이를 통해 불확실성 점수가 경험적 오류율에 맞게 보정되도록 합니다.
일관성 손실 (Consistency Loss): 일관성 항은 융합된 랭킹이 이미 확신이 있는 쿼리에 대해서만 브랜치 간의 합의를 장려하여, 해결되지 않은 쿼리에 대해 강제로 합의를 유도하는 것을 방지합니다.

2.5 추론 효율성

CRU는 단 한 번의 결정론적 순방향 패스(forward pass)만을 필요로 합니다. 글로벌 검색을 수행하여 후보 풀을 가져온 다음, 이 풀에 대해서만 로컬 매칭을 적용하고 불확실성을 계산합니다. 이는 샘플링이나 앙상블의 계산 오버헤드를 피합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

후보 공간 공식화: 글로벌 세맨틱과 로컬 디테일 사이의 충돌을 결정 공간에서 직접 드러내는 새로운 검색 불확실성 공식화.
분해 가능한 점수: 랭킹 모호성과 교차 입도 JS 불일치를 결합하고, 쿼리 수준의 확신도 기반 퓨전을 결합한 방법.
보정 및 선택적 예측: 추가적인 추론 패스 없이 선택적 검색(기권/abstention)을 가능하게 하는 정확도 인지 보정 및 확신도 가중 일관성.
포괄적인 평가: 표준 벤치마크에 걸친 검색 정확도, 오류 탐지, 보정 및 구성 요소 절제 실험(ablation)을 포함한 광범한 실험.

4. 실험 결과

방법론은 Flickr30K-1K, MS-COCO-1K, MS-COCO-5K에서 평가되었습니다.

검색 정확도: CRU는 rSum 값이 각각 520.4 (Flickr30K-1K), 535.1 (MS-COCO-1K), 446.9 (MS-COCO-5K)를 달성했습니다. 이는 강력한 GRM 베이스라인 대비 각각 4.2, 2.6, 3.9 포인트의 향상을 나타냅니다.
오류 탐지: 가장 강력한 불확실성 베이스라인인 PCME++와 비교했을 때, CRU는 AUROC를 4.3–4.6 포인트, AUPR을 4.3–4.9 포인트 개선했습니다.
보정: 기대 보정 오차(ECE)가 크게 감소했습니다 (예: Flickr30K-1K에서 0.047에서 0.024로 감소). 이는 약 49–53%의 상대적 감소를 의미합니다.
선택적 검색: PCME++ 대비 AURC(Area Under the Risk-Coverage curve)가 16.4–21.6% 감소하여, 불확실성이 낮은 쿼리만을 유지하는 것이 실질적으로 더 낮은 오류율을 얻을 수 있음을 보여줍니다.
효效率: 로컬 매칭을 작은 후보 풀( $R=100$ )로 제한하고 확률적 추론을 피함으로써 효율성을 유지합니다.

5. 의의 및 주장

본 논문은 랭킹 공간 불확실성이 임베딩 공간 불확실성보다 검색 위험을 나타내는 데 더 효과적인 지표라고 주장합니다. 글로벌 및 로컬 매처를 상호 보완적인 의견으로 취급함으로써, CRU는 단일 랭킹 메커니즘이 위험 신호를 보내는 데 실패할 수 있는 "확신하지만 틀린" 시나리오를 감지할 수 있습니다.

저자들은 CRU가 단순히 정확하게 랭킹을 매길 뿐만 아니라, 출력을 신뢰해서는 안 되는 시점을 나타낼 수 있는 실용적인 경로를 제공한다고 주장합니다. 이는 단일 결정론적 패스를 통해 이루어지므로 대규모 배포에 적합합니다. 결과는 서로 다른 입도 간의 불일치를 명시적으로 모델링하는 것이 검색 정확도 자체를 개선할 뿐만 아니라 오류 탐지 및 보정 능력도 향상시킨다는 것을 입증합니다.

저자들은 보정이 가용한 주석(annotations)에 상대적으로 정의된다는 점(완벽하지 않을 수 있음)과 심각한 분포 변화가 여전히 성능을 저하시킬 수 있다는 점을 언급하며 한계에 대해 겸허한 태도를 유지하였고, 컨포멀 보증(conformal guarantees)에 대한 향후 연구의 필요성을 시사했습니다.