VespaSeg: A Resource-Aware Ground-then-Segment Pipeline for Referring Expression Segmentation

당신이 북적이고 혼란스러운 콘서트장에서 특정 친구를 찾으려고 한다고 상상해 보세요. 단순히 "내 친구 찾아줘!"라고 외친다고 해서 보안 요원이 당신이 누구를 말하는지 알 수는 없습니다. 당신은 "파란색 기타를 들고 빨간 모자를 쓴 사람"과 같이 묘사를 해줘야 합니다. 이것이 컴퓨터가 인간의 언어를 이해하려고 노력할 때 마주하는 일상의 과제입니다. 인공지능의 세계에서는 이를 **참조 표현 분할(Referring Expression Segmentation)**이라고 부릅니다. 이것은 컴퓨터가 사진을 보고 "공을 쫓아가는 개"와 같은 문장을 읽은 뒤, 그 개만을 픽셀 단위로 완벽하게 따서 외곽선을 그리는 마법 같은 기술입니다.

오랫동안 이 일을 수행하던 로봇들은 거대하고 무거운 탱크와 같았습니다. 매우 똑똑하긴 했지만, 실행하는 데 엄청난 양의 전력과 슈퍼컴퓨터가 필요했기에 로봇 청소기나 스마트폰 앱처럼 실생활에서 사용하기에는 느리고 비용이 많이 들었습니다. 연구자들이 던지는 핵심 질문은 이것입니다. "우리는 똑같이 잘 찾아내면서도, 작고 빠르며 당신의 주머니에 넣고 다닐 수 있을 만큼 가벼운 시스템을 만들 수 있을까?" 이 논문은 바로 그 문제를 깊이 파고들며, 무거운 탱크를 대신해 퍼즐을 해결하기 위해 함께 협력하는 매끄러운 '두 부분으로 된 팀'으로 교체하는 방법을 탐구합니다.

---

두 단계의 댄스: VespaSeg

VespaSeg를 만나보세요. 이것은 한 명의 거대하고 과로한 형사 대신, 미스터리를 해결하는 영리한 '2인조 팀'이라고 생각하면 됩니다. 저자는 모든 것을 하나의 거대한 뇌로 처리하려고 하면 너무 무거워진다는 점을 깨달았습니다. 그래서 그들은 업무를 **그라운딩(Grounding, 위치 찾기)**과 **세그멘테이션(Segmenting, 분할하기)**이라는 두 가지 뚜렷한 단계로 나누었습니다.

1단계: 스포터 (The Spotter - 찾는 사람)
먼저, 물체가 어디에 있는지 찾아야 합니다. 비디오 게임 속 정찰병이 "보물 상자를 찾아라"라는 텍스트 명령을 받는 상황을 상상해 보세요. 정찰병은 아직 보물 상자가 고화질로 어떻게 생겼는지 알 필요는 없습니다. 그저 손가락으로 가리키며 대략적인 사각형을 그리기만 하면 됩니다. VespaSeg에서 이 역할은 문장을 읽고 경계 상자(bounding box)를 그리는 "컴팩트한" AI 모델(작고 효율적인 뇌)이 수행합니다. 이는 마치 정찰병이 "저 구석에 있어요!"라고 외치는 것과 같습니다.

2단계: 트레이서 (The Tracer - 그리는 사람)
상자가 그려지면, 두 번째 전문가가 바통을 이어받습니다. 이 모델은 바로 가볍고 빠르게 설계된 MobileSAM입니다. 이 모델의 유일한 임무는 그 상자를 보고 "좋아, 상자가 보이네. 이제 그 안의 물체의 정확한 가장자리를 따라 그려볼까"라고 말하는 것입니다. 이 모델은 대략적인 사각형을 픽셀 단위로 정확한 마스크로 변환합니다.

이 설정의 묘미는 사진 속에 찾아야 할 물체가 열 개가 있더라도, "트레이서"가 이미지를 분석하는 무거운 작업은 단 한 번만 수행하면 된다는 점입니다. 이 모델은 "이미지 임베딩(image embedding)"을 저장해 두고, "스포터"가 그리는 모든 새로운 상자에 대해 이를 재사용합니다. 이는 방 사진을 한 번 찍어둔 뒤, 매번 방 전체를 다시 촬영할 필요 없이 그 사진 속의 다른 가구들을 가리키는 것과 같습니다.

발견한 사실: 속도 vs 크기

연구진은 어떤 "스카우트(그라운딩 모델)"가 최고의 파트너인지 확인하기 위해 다양한 모델을 사용하여 이 팀을 테스트했습니다. 그들은 Florence-2와 Moondream2를 포함한 몇 가지 옵션을 비교했습니다.

여기서 그들이 발견한 큰 놀라움이 있습니다: 크다고 해서 항상 더 좋은 것은 아니라는 점입니다.

그들은 Florence-2 모델의 "Large" 버전과 "Base"(더 작은) 버전을 비교 테스트했습니다. 여러분은 더 크고 강력한 모델이 항상 승리할 것이라고 생각할 수도 있습니다. 하지만 이 특정 설정에서는 더 작은 Florence-2-base 모델이 실제로 약간 더 나은 성능을 보였습니다!

• 정확도: 더 작은 모델은 73.73(mIoU로 측정)의 점수를 기록한 반면, 더 큰 모델은 72.82를 기록했습니다.
• 속ness: 더 작은 모델은 1.70배 더 빨랐으며, 더 큰 모델의 느린 속도에 비해 초당 22.8개의 쿼리를 처리했습니다.
• 메모리: 더 작은 모델은 그래픽 카드에서 1.17 GB의 메모리를 덜 사용했습니다.

결국, 이 특정한 "위치 찾기 후 분할하기" 댄스에서는 거대한 모델보다 더 작고 민첩한 파트너가 더 효율적이고 정확했습니다.

엔진 튜닝하기

연구팀은 정확도를 잃지 않으면서 시스템을 더 빠르게 만들 수 있는지 확인하기 위해 설정을 조정해 보았습니다. 그들은 두 가지 멋진 기술을 발견했습니다:

1. 지시 사항 단축하기: AI는 보통 상자를 설명하기 위해 최대 64개의 "토큰(데이터 조각)"을 생성합니다. 그들은 정확도를 잃지 않고 이를 단 32개 토의 토큰으로 줄일 수 있다는 것을 발견했습니다. 이는 마치 정찰병에게 "부연 설명은 빼고 좌표만 알려줘"라고 말하는 것과 같습니다.
2. 적절한 부분 학습시키기: 그들은 전체를 다시 학습시키는 대신 AI에게 새로운 기술을 가르치는 LoRA(Low-Rank Adaptation) 기를 사용했습니다. 이는 AI 뇌의 아주 작은 부분(약 **1.63%**의 파라미터)만을 미세 조정하는 방식입니다. 이를 통해 "트레이서(MobileSAM)"가 가장자리를 훨씬 더 잘 그리게 되었으며, 완벽한 상자가 주어졌을 때 점수를 82.22에서 86.61로 끌어올렸습니다.

한계점: 진행 중인 과제

결과는 흥미롭지만, 저자는 자신들의 성과가 세상의 모든 문제를 해결했다고 주장하지 않도록 매우 주의를 기울입니다. 그들은 몇 가지 중요한 제한 사항을 지적합니다:

• 테스트의 특수성: 이 테스트는 특정 3,811개의 이미지-문장 쌍(각 물체에 대해 첫 번째 문장만 사용)을 대상으로 수행되었습니다. 이는 업계에서 사용하는 10,000개 이상의 문장이 포함된 전체 표준 테스트 세트와는 다릅니다. 따라서 수치는 매우 좋아 보이지만, 실제 복잡한 환경에서는 다소 낙관적일 수 있습니다.
• 하드웨어: 속도 테스트는 매우 강력하고 비싼 그래픽 카드인 NVIDIA RTX 6000 Ada에서 수행되었습니다. 저자는 이 시스템이 일반적인 스마트폰이나 작은 로봇에서 어떻게 작동할지는 아직 알 수 없다고 인정합니다.
• 마법 같은 해결책은 없음: 만약 첫 번째 단계인 "스포터"가 상자를 잘못 그린다면, 두 번째 단계인 "트레이서"는 이를 바로잡을 수 없습니다. 이 시스템은 가장 약한 연결 고리의 성능에 좌우됩니다.

요약

VespaSeg는 우리가 언어를 이해하고 사물을 가리키기 위해 거대하고 배고픈 AI가 필요하지 않다는 것을 보여줍니다. 업무를 "상자 찾기" 단계와 "외곽선 그리기" 단계로 나누고, 더 작고 똑똑한 모델을 사용함으로써, 우리는 거대한 모델들과 거의 대등한 정확도를 유지하면서도 훨씬 더 빠르게 실행되고 전력을 적게 소모하는 결과를 얻을 수 있습니다. 이는 여러분의 기기가 슈퍼컴퓨터 없이도 여러분이 말하는 것을 이해하고 여러분이 의도하는 것을 정확히 가리킬 수 있는 미래를 시사합니다. 다만, 이것이 최종 답변이라고 말하기 전에, 팀은 이 시스템이 압박 속에서도 잘 버티는지 확인하기 위해 전체 표준 데이터셋과 실제 기기에서 테스트해야 합니다.