💻 computer science

Revisiting Human-in-the-Loop Object Retrieval with Pre-Trained Vision Transformers

본 논문은 사전 학습된 비전 트랜스포머를 활용하여 다중 객체 데이터셋의 주요 설계 과제를 해결함으로써 인간-루프 객체 검색을 재검토하고, 최종적으로 사전 레이블 없이 효과적인 상호작용 객체 클래스 검색을 위한 표현 전략과 능동 학습 루프에 대한 실용적인 통찰을 제공합니다.

원저자: Kawtar Zaher, Olivier Buisson, Alexis Joly

게시일 2026-04-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kawtar Zaher, Olivier Buisson, Alexis Joly

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 지저분한 다락방에 수천 개의 상자가 가득 차 있다고 상상해 보세요. 당신은 로봇에게 "소화기 사진을 찾아줘"라고 말합니다. 로봇은 몇 장의 이미지를 보여주지만, 모두 잘못되었습니다. 하나는 온통 거리 전체를 보여줍니다 (너무 많은 맥락), 다른 하나는 흐릿한 빨간 원통만 보여줍니다 (너무 적은 맥락). 당신은 로봇에게 "아니, 그게 아니야"라고 말하며 사진 속 특정 소화기를 가리켜야 합니다.

이 논문은 바로 그 로봇이 당신의 수정 사항을 훨씬 더 빠르고 똑똑하게 학습하는 방법을 다루며, 특히 다락방에 소화기 외에도 자동차, 개, 나무 같은 다른 물체들이 섞여 있을 때 그 효과가 두드러집니다.

다음은 그들의 접근 방식을 간단한 비유로 정리한 것입니다:

1. 문제: "온전한 방" 대 "특정 장난감"

전통적인 검색 엔진은 종종 안에 무엇이 있는지 추측하기 위해 이미지 전체(온전한 방) 를 봅니다.

결함: 만약 당신이 붐비는 거리 사진 속 작은 장난감 자동차를 찾고 있다면, 사진 전체를 보는 것은 로봇에게 단순히 "이건 거리 풍경이야"라고 말하게 할 뿐입니다. 작은 디테일을 놓치게 됩니다.
대안: 만약 사진의 아주 작고 확대된 정사각형 부분만 본다면, 당신은 장난감 자동차를 완벽하게 볼 수 있지만, 그것이 단순한 무작위 빨간 블록이 아니라 실제로 자동차라는 것을 알려주는 맥락은 잃게 됩니다.

저자들은 온전한 방(맥락) 을 보면서도 특정 장난감(디테일) 에 초점을 맞출 수 있는 완벽한 균형을 찾고자 했습니다.

2. 해결책: "휴먼 - 인 - 더 - 루프" 게임

연구진은 컴퓨터와 인간이 협력하는 게임을 설정했습니다:

시작: 컴퓨터는 정렬되지 않은 거대한 사진 더미로 시작합니다.
추측: 당신은 시작 예시를 제공합니다 (예: "소화기를 보여줘").
피드백: 컴퓨터는 몇 장의 사진을 보여줍니다. 당신은 "네, 이건 소화기야"라고 말하고 "아니, 이건 소방차야"라고 말합니다. 핵심은 '네'라고 한 사진에서 소화기가 정확히 어디에 있는지를 가리킨다는 점입니다.
학습: 컴퓨터는 당신의 '네'와 '아니오' 답변에서 학습합니다.
스마트한 선택 (능동 학습): 컴퓨터는 무작위 사진을 보여주는 대신, 자신이 가장 혼란스러워하는 사진을 선택하는 특별한 방법을 사용합니다. 그 특정 사진들을 당신이 라벨링하도록 요청하는데, 왜냐하면 그것들이 가장 많은 것을 가르쳐 주기 때문입니다. 이는 당신의 시간을 절약해 줍니다.

3. 비밀 무기: "패치워크" 설명

이 논문은 이미지를 컴퓨터에게 설명하는 다양한 방식을 테스트했습니다. 그들은 이미지를 다양한 방식으로 볼 수 있는 현대적인 "뇌"(비전 트랜스포머) 를 사용했습니다:

전역만 (광각 렌즈): 컴퓨터는 이미지 전체를 하나의 큰 덩어리로 봅니다.
- 결과: 큰 장면에는 좋지만, 지저분한 곳에 숨겨진 작은 물체에는 부적합합니다.
국소만 (확대경): 컴퓨터는 이미지를 작은 정사각형 (패치) 들로 잘라 개별적으로 봅니다.
- 결과: 작은 디테일을 찾는 데는 훌륭하지만, 큰 그림이 부족해 실제로 그 물체가 무엇인지 혼란스러워할 때가 있습니다.
하이브리드 (양쪽의 장점을 모두): 이것이 승자였습니다. 컴퓨터는 이미지 전체와 작은 정사각형들을 동시에 보고 정보를 연결합니다.
- 비유: 도시 지도 (전역) 를 보면서도 특정 건물의 거리 수준 사진 (국소) 을 들고 있는 것과 같습니다. 당신은 건물이 정확히 어디에 있고 어떤 모습인지 정확히 압니다.

4. 결과: 올바른 "확대 수준" 찾기

연구진은 두 가지 다른 "다락방"(데이터셋) 에서 이를 테스트했습니다:

다락방 A (PascalVOC): 물체가 적고 일반적으로 더 컸습니다. 여기서는 이미지를 4 개의 큰 정사각형으로 자르는 것이 가장 잘 작동했습니다.
다락방 B (COCO): 훨씬 더 지저분하고 많은 작은 물체들이 있었습니다. 여기서는 이미지를 16 개의 작은 정사각형으로 자르는 것이 훨씬 더 잘 작동했습니다.

핵심 발견: "하이브리드" 접근 방식 (광범위한 시야와 확대된 시야를 결합) 은 다른 방법들보다 일관되게 우월했습니다. 이를 통해 컴퓨터는 인간의 수정이 더 적고 더 빠르게 올바른 물체를 찾을 수 있었습니다.

5. 왜 이것이 중요한가

이 논문은 "하이브리드" 전략을 사용하고 인간에게 가장 혼란스러운 사진들만 라벨링하도록 요청함으로써 (능동 학습), 지저분하고 붐비는 사진에서 특정 물체를 매우 빠르게 찾을 수 있는 시스템을 구축할 수 있다고 결론지었습니다. 이는 사전에 수백만 개의 라벨링된 예제로 훈련될 필요가 없으며, 당신과 대화하는 것만으로 실시간으로 학습합니다.

간단히 말해: 그들은 지저분한 방에서도 당신이 무엇을 찾고 있는지 정확히 이해하기 위해 전체 이미지를 보거나 작은 디테일만 보는 것이 아니라, 둘을 결합한 검색 도구를 만드는 방법을 알아냈으며, 절대적으로 필요할 때만 당신의 도움을 요청하도록 만들었습니다.

"Revisiting Human-in-the-Loop Object Retrieval with Pre-Trained Vision Transformers" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 정의

본 논문은 대규모 레이블이 없는 데이터셋에서 특정 "관심 클래스"에 속하는 객체가 포함된 이미지를 반복적으로 검색하는 작업인 **Human-in-the-Loop Object Retrieval **(HITL-OR)을 다룹니다.

과제: 전통적인 객체 검색은 역사적 기록 보관소와 같은 전문 도메인에서 단일 쿼리가 너무 많은 관련 없는 결과를 산출할 때 실패하는 경우가 많습니다. 표준 딥러닝 검색 방법은 일반적으로 특정 카테고리에 대한 레이블이 있는 데이터의 사전 훈련을 필요로 하는데, 이는 제로샷 (zero-shot) 대화형 설정에서는 사용할 수 없습니다.
다중 객체 복잡성: 이 작업은 대상 객체가 혼란스러운 장면의 작은 영역만 차지하는 다중 객체 데이터셋(예: COCO, PascalVOC)에서 특히 어렵습니다. 전역 이미지 기술자 (global image descriptors) 는 특정 작은 객체 대신 지배적인 배경 컨텍스트를 포착하기 때문에 종종 실패합니다.
목표: 초기 사용자 쿼리 (관심 영역 포함) 와 반복적인 **관련성 피드백 **(Relevance Feedback, RF)만을 사용하여 객체 카테고리의 다양한 인스턴스를 신속하게 식별하고, **활성 학습 **(Active Learning, AL)을 통해 사용자 주석 노력을 최소화하는 것입니다.

2. 방법론

저자들은 사전 훈련된 비전 트랜스포머 (Vision Transformer, ViT) 표현과 활성 학습 루프를 통합하는 프레임워크를 제안합니다.

A. 프레임워크 워크플로우

초기화: 대규모 레이블 없는 데이터셋 $D$ 를 사전 훈련된 ViT(특히 dinoV2)로 인코딩하여 특징을 추출합니다.
쿼리 및 레이블링: 사용자가 쿼리 이미지를 제공하고 관심 영역 (RoI) 을 표시합니다. 소수의 부정적 샘플이 무작위로 샘플링됩니다.
분류: 관심 클래스 (양성) 와 나머지 (부정) 를 구분하기 위해 얕은 선형 SVM이 훈련됩니다. 저자들은 매우 적은 수의 레이블된 샘플 (낮은 주석 예산) 로도 일반화 성능이 더 뛰어나기 때문에 깊은 레이어의 미세 조정 (fine-tuning) 대신 SVM 을 선택했습니다.
활성 학습 루프:
- 분류기가 모든 레이블 없는 이미지에 점수를 매깁니다.
- 불확실성 기준( $s_{AL} = 1 - |0.5 - s_i|$ )이 사용자가 주석 달기를 위해 가장 유익한 상위- $b$ 개의 이미지를 선택합니다.
- 사용자는 관련성을 확인하고 양성 이미지에서 특정 객체의 바운딩 박스를 선택합니다.
- 훈련 세트가 업데이트되고 루프가 반복됩니다.

B. 표현 전략

핵심 기술적 기여는 다중 객체 장면을 처리하기 위해 ViT 에서 이미지 특징을 구성하는 방식에 있습니다. 저자들은 세 가지 전략을 비교합니다:

**전역 전용 **(Global-Only, GO): 전체 이미지의 단일 전역 기술자를 사용합니다.
**로컬 전용 **(Local-Only, LO):
- 이미지를 $M$ 개의 패치 그리드 (예: $2\times2$ 또는 $4\times4$ ) 로 나눕니다.
- 특징은 자른 패치를 네트워크에 입력하거나 ViT 패치 토큰을 평균화하여 추출됩니다.
- LO-One: 이미지당 하나의 대표 패치를 사용합니다 (예: 사용자의 RoI 와 가장 많이 겹치는 패치).
- LO-All: 이미지의 모든 패치를 별도의 훈련 샘플로 취급합니다. 양성 이미지는 객체와 겹치는 패치 (양성) 와 배경 패치 (부정) 를 모두 생성합니다.
**전역 - 로컬 **(Global-Local, GL) / 하이브리드: 전역 및 로컬 컨텍스트를 융합합니다.
- **연결 **(Concatenation): $[g_i, l_i]$ (별도의 컨텍스트 유지).
- **풀링 **(Pooling): $\frac{g_i + l_i}{2}$ (컨텍스트 병합).
- 참고: "LO-All" 전략의 경우, 저자들은 전역 기술자를 모든 패치 (부정 배경 패치 포함) 와 연결하면 SVM 을 혼란스럽게 한다는 사실을 발견했습니다. 따라서 전역 기술자를 양성 로컬 패치와만 연결합니다.

C. 추론

로컬 및 하이브리드 전략의 경우, 이미지 점수는 모든 구성 패치 중 최대 점수( $s_i = \max_m s_{i,m}$ )로 결정되며, 이는 객체가 어떤 패치에 존재하더라도 이미지가 검색되도록 보장합니다.

3. 주요 기여

ViT 를 통한 HITL-OR 재검토: 대상 데이터셋에 미세 조정 없이 사전 훈련된 자기지도 학습 ViT(dinoV2) 를 Human-in-the-Loop 객체 검색 작업에 적용한 최초의 포괄적인 연구입니다.
표현 분석: 전역, 로컬, 하이브리드 표현에 대한 체계적인 비교. 본 논문은 **하이브리드 **(전역 - 로컬) 전략이 객체의 세밀한 세부 사항 (로컬 패치를 통해) 과 장면 컨텍스트 (전역 기술자를 통해) 를 모두 포착하므로 우월함을 입증합니다.
활성 학습 통합: 프레임워크는 불확실성 기반 AL 루프를 사용하여 유익한 샘플을 선택함으로써 최소한의 사용자 입력 (반복당 10 개 이미지로 시뮬레이션) 으로 높은 검색 성능을 달성합니다.
패치 세분성 통찰: 최적의 패치 크기는 데이터셋의 객체 크기 분포에 따라 달라진다는 연구 결과가 나왔습니다. 작은 객체가 많은 데이터셋 (COCO) 의 경우 작은 패치 ( $4\times4$ ) 가 더 적합하고, 더 균형 잡힌 데이터셋 (PascalVOC) 의 경우 더 큰 패치 ( $2\times2$ ) 가 성능 균형을 이룹니다.

4. 실험 결과

실험은 dinoV2 특징을 사용하여 PascalVOC2012와 COCO2017에서 수행되었습니다.

지표: 검색 정확도를 위한 평균 정밀도 (MAP) 와 사용자 만족도를 위한 커버리지(검색된 인스턴스의 다양성).
주요 발견:
- 하이브리드 우위: 하이브리드 표현 (특히 GL-concat-All 및 GL-pool-All) 은 전역 전용 및 로컬 전용 베이스라인보다 일관되게 우수한 성과를 보였습니다.
  - PascalVOC2012 에서 하이브리드 전략은 전역 전용 대비 MAP 를 약 8-9% 향상시키고 커버리지를 약 3-6% 향상시켰습니다.
  - COCO2017 에서 개선 폭은 더욱 컸습니다 (MAP +13-18%).
- LO-All 전략: "Local-All" 접근 방식 (모든 패치를 샘플로 사용) 은 분류기에 더 풍부하고 다양한 훈련 예제를 제공하여 성능과 커버리지 간의 최적의 균형을 제공했습니다.
- 패치 크기:
  - COCO2017: $4\times4$ 패치 (총 16 개) 가 가장 잘 수행되었는데, 이는 이 데이터셋의 객체 중 74.7% 가 "작음"으로 분류되기 때문일 것입니다.
  - PascalVOC2012: 객체 크기 분포가 더 균형 잡혀 있어 $2\times2$ 패치 (총 4 개) 가 최적의 균형을 제공했습니다.
- ViT 레지스터: 레지스터 기반 ViT 를 사용한 실험 결과, 표준 ViT 가 이 특정 검색 컨텍스트에서 더 잘 수행된 것으로 나타났는데, 이는 아마도 표준 패치 토큰의 "얽힌" 전역 정보가 다양성에 도움이 되기 때문일 것입니다.

5. 의의 및 결론

이 연구는 레이블이 없는 다중 객체 데이터셋을 위한 대화형 검색 시스템 구축을 위한 실용적인 청사진을 제공합니다.

효율성: 사전 훈련된 파운데이션 모델과 활성 학습을 활용하여 최소한의 사용자 노력(few-shot learning) 으로 고성능 검색을 달성할 수 있음을 입증합니다.
설계 가이드라인: 본 논문은 향후 시스템을 위한 구체적인 설계 선택지를 제시합니다:
- 정밀도와 다양성의 균형을 맞추기 위해 **하이브리드 **(전역 - 로컬) 표현을 사용하십시오.
- 검색 정밀도가 우선순위라면 **연결 **(Concatenation)을, 다양한 객체 인스턴스를 포괄하는 것이 더 중요하다면 **풀링 **(Pooling)을 사용하십시오.
- 대상 데이터셋의 예상 객체 크기에 따라 패치 세분성을 적응시키십시오.
향후 작업: 저자들은 수동 구성 없이 다양한 객체 크기를 동적으로 처리하기 위한 적응형 멀티스케일 패치 선택 프레임워크 개발을 제안합니다.

요약하자면, 본 논문은 수동으로 설계된 특징을 사전 훈련된 ViT 로 대체하고 복잡한 다중 객체 시나리오에서 하이브리드 표현 전략이 전통적인 전역 또는 로컬 전용 접근법보다 훨씬 우월함을 입증함으로써 Human-in-the-Loop 검색 패러다임을 성공적으로 현대화했습니다.