Validation-Aligned Coreset Selection for Budgeted Few-Shot Classification

당신이 로봇에게 다양한 종류의 과일을 인식하는 법을 가르치려는 요리사라고 상상해 보세요. 당신의 팬트리에는 사과, 오렌지, 바나나가 가득합니다. 하지만 당신의 로봇은 아주 작은 메모리 칩을 가지고 있습니다. 로봇은 아주 적은 양의 예시만을 기억하여 학습할 수 있습니다. 만약 당신이 잘못된 한 줌을 고른다면(예를 들어, 멍든 사과와 초록색 바나나만 골랐다면), 로봇은 혼란에 빠져 실패할 것입니다. 이것이 바로 컴퓨터가 매우 적은 예시로부터 학습해야 하는 "퓨샷 분류(few-shot classification)"의 세계입니다. 과학자들이 던지는 큰 질문은 이것입니다: 어떤 몇 가지 예시를 골라야 할까요? 가장 "평범하게" 생긴 것들을 골라야 할까요? 서로 가장 다르게 생긴 것들을 골라야 할까요? 아니면 카테리의 경계에 놓여 있는 것들을 골라야 할까요?

오랫동안 연구자들은 "허딩(Herding, 가장 전형적인 예시를 고르는 것)"이나 "K-센터(K-Center, 가장 넓은 범위를 커버하도록 고르는 것)"와 같은 몇 가지 선호하는 전략을 사용해 왔습니다. 하지만 여기 반전이 있습니다. 어떤 단일 전략도 모든 상황에서 완벽하게 작동하지는 않습니다. 때로는 "평균적인" 예시가 가장 좋고, 다른 때에는 "경계"에 있는 예시가 핵심이 됩니다. 이 논문은 최종 테스트 정답을 훔쳐보지 않고도 이 퍼즐을 해결할 수 있는 영리한 방법을 탐구합니다. 이 방법은 여러 가지 다른 선택 전략을 작은 연습 테스트에 시도해 보고, 어떤 전략이 가장 잘 작동하는지 확인한 다음, 그 우승한 전략을 사용하여 최종 예시 세트를 선택할 수 있는가? 를 묻습니다. 연구자들은 이 방법을 VACS(Validation-Aligned Coreset Selection)라고 부릅니다. 그들은 이 "사기 전에 먼저 써보는(try-before-you-buy)" 접근 방식이 마법의 탄환인지, 아니면 그저 조금 더 나은 추측 방법인지를 알고 싶어 합니다.

데이터를 위한 "맛보기 테스트"

이 논문의 저자인 선전 기술 대학교(Shenzhen Technology University) 팀은 그들의 아이디어를 테스트하기 위해 디지털 주방을 설정했습니다. 그들은 데이터를 고르는 문제를 요리 경연 대회처럼 다루었습니다. 거대한 식재료 가방(훈련 데이터)이 있지만, 로봇을 위한 요리(훈련 세트)를 만들기 위해 아주 작은 한 숟가락만을 사용할 수 있다고 상상해 보세요. 당신은 선택할 수 있는 여섯 가지의 "선택 규칙(selector)" 메뉴를 가지고 있습니다:

1. 랜덤(Random): 그냥 눈을 감고 식재료를 집는 것.
2. 허딩(Herding): 가장 "중심적"이거나 전형적인 식재료를 고르는 것.
3. K-센터(K-Center): 모든 맛을 커버하기 위해 서로 멀리 떨어진 식재료를 고르는 것.
4. 경계(Boundary): 구별하기 어려운 기이한 경계 사례 식재료를 고르는 것.
5. K-평균 메도이드(K-Means Medoids): 최적의 대표자를 찾는 수학적 방법.
6. MARC: 예시가 얼마나 명확한지를 가중치로 두는 규칙.

연구팀은 두 가지 버전의 "맛보기 테스트" 프로토콜을 만들었습니다. 첫 번째는 VACS-F, 즉 "빠른" 버전입니다. 이는 큰 식재료 가방을 가져와서 작은 연습용 부분을 따로 떼어낸 뒤, 여섯 가지 규칙을 모두 그 연습 부분에 적용해 보고, 어떤 규칙이 로봇의 점수를 가장 높게 만드는지 확인한 다음, 그 우승한 규칙을 사용하여 전체 가방에서 최종적인 한 숟가락을 고르는 방식입니다. 두 번째는 VACS-R, 즉 "반복" 버전입니다. 이 방식은 결과가 단순히 운이 좋았던 것이 아님을 확인하기 위해 서로 다른 연습 분할을 사용하여 다섯 번의 맛보기 테스트를 수행하며 동일한 과정을 반복합니다.

결과: 간발의 차이

그들이 다섯 가지의 서로 다른 공개 데이터셋(손글씨 숫자, 꽃의 종류, 뉴스 기사 등)에 대해 실험을 수행했을 때, 결과는 놀라울 정도로 미묘했습니다.

빠른 버전인 VACS-F는 가장 좋은 단일 정적 규칙인 "허딩(Herding)"과 통계적으로 무승부를 기록했습니다. 두 방식 모두 **70.6%**의 평균 정확도를 달しまいました. 그 차이는 너무나 작아서(단 0.02 퍼센티지 포인트) 저자들은 이를 사실상 동점으로 보고 있습니다. 이는 만약 당신이 서두르고 있다면, 복잡한 맛보기 테스트를 실행하는 대신 그냥 "허딩" 규칙을 고수하는 것이 거의 비슷하게 효과적이라는 것을 시사합니다.

하지만 "반복" 버전인 Vvers-R는 좀 더 유망한 모습을 보였습니다. 다섯 번의 맛보기 테스트 결과를 평균함으로써, 이 방식은 **72.1%**의 정확도에 도달했습니다. 이는 허딩보다 1.54 퍼센티지 포인트 앞선 결과로, 명백한 개선입니다. 연구팀은 80개의 특정 테스트 케이스 중 30개에서 VACS-R가 승리했고, 단 7개의 경우에서만 패배했다는 점을 들어 이 결과에 상당한 확신을 가지고 있습니다.

하지만 여기 함정이 있습니다. VACS-R를 "완벽한 사후 확신(perfect hindsight)" 규칙(정답을 미리 알고 나서 최적의 규칙을 고르는 치트키)과 비교했을 때, VACS-R는 이를 이기지 못했습니다. VACS-R는 Covertype이라는 더 큰 데이터셋에서 또 다른 강력한 정적 규칙인 MARC와 동률을 이루었습니다. 이는 VACS-R가 메뉴에서 좋은 규칙을 고르는 데는 뛰어나지만, 이미 정답을 알고 있는 경우의 최고 선택을 능가하는 초강력 규칙을 만들어내지는 못한다는 것을 의미합니다.

한계와 비용

이 논문은 또한 이 방법의 한계를 점검합니다. 그들은 고정된 텍ền 및 이미지 임베딩(새로운 것을 배울 수 없는 사전 학습된 AI 모델 사용)을 사용하여 VACS를 테스트했습니다. 이 경우 VACS는 큰 이점을 보여주지 못했으며, 표준적인 허딩 규칙과 거의 대등한 수준이었습니다. 이는 VACS가 모든 것을 해결하는 마법 지팡이가 아니며, 특정하고 저예산인 상황에서 가장 잘 작동한다는 것을 시사합니다.

또한 이 "맛보기 테스트"에는 비용이 따릅니다. 빠른 버전인 VACS-F는 검증을 수행하고 승자를 고르는 데 약 79.82초가 걸린 반면, 단순한 허딩 규칙은 단 10.47초밖에 걸리지 않았습니다. 반복 버전은 다섯 번의 테스트를 수행하기 때문에 시간이 더 오래 걸립니다. 저자들은 VACS가 당신이 약간의 추가 시간을 투자할 용의가 있고 나쁜 규칙을 고르지 않으려는 확신이 필요할 때 유용한 도구이지만, 모든 기존 방법을 쓸모없게 만드는 보편적인 해결책은 아니라고 결론짓습니다.

시사점

간단히 말해서, 이 논문은 로봇이 학습할 수 있도록 몇 가지 예시를 고르는 완벽한 방법을 항상 예측할 수는 없지만, 작은 연습 테스트를 통해 훨씬 더 나은 추측을 할 수 있다는 것을 보여줍니다. 그들의 방법인 "반복" 버전(VACS-R)은 평균보다 나은 전략을 선택하는 견고하고 신뢰할 수 있는 방법이지만, 완벽한 점수를 보장하지는 않습니다. 이는 데이터 과학자들이 레이블링된 데이터가 매우 적은 상황에서 일할 때 사용할 수 있는 스마트하고 실용적인 도구이며, 때로는 작업을 시작하기 전에 몇 번 확인하는 것이 그만한 노력을 들일 가치가 있다는 것을 증명합니다.