PixVL: Self-Supervised Training of Pixel-Level MLLMs via a Unified Mask--Text Consistency Cycle

당신이 로봇에게 세상을 보는 법을 가르치고 있다고 상상해 보세요. 오랫동안 이 로봇들은 아주 넓은 화각의 렌즈를 가진 관광객과 같았습니다. 그들은 "사진 속에 개가 있다"라거나 "화창한 날이다"라고 말할 수는 있었지만, 특정 개를 손가락으로 가리키거나 왜 그 개가 달리고 있는지 설명하지는 못했습니다. 그들은 전체 장면은 보았지만 세부 사항은 놓쳤습니다. 최근 과학자들은 '픽셀 수준 멀티모달 거대 언어 모델(Pixel-Level Multimodal Large Language Models)'이라는 더 똑똑한 로봇을 만들었습니다. 이것은 로봇이 이미지에 대해 이야기할 수 있을 뿐만 아니라, "개"나 "빨간 자동차"와 같은 특정 물체에 정교한 외곽선을 그릴 수 있고, 그 특정 물체를 상세히 설명할 수 있게 해주는 것과 같습니다. 마치 로봇에게 마법의 마커와 단어장을 동시에 쥐여준 것과 같습니다. 하지만 함정이 있습니다. 두 가지 일을 완벽하게 동시에 수행하도록 로봇을 가르치는 것은 매우 어렵습니다. 그것은 마치 학생에게 세계적인 화가와 세계적인 미술 비평가가 동시에 되라고 가르치는 것과 같습니다. 종종 한 가지 기술에 너무 집중하면 다른 기술은 나빠지기 때문입니다. 게다가, 사진, 완벽한 외곽선, 그리고 완벽한 설명이 깔끔하게 하나의 패키지로 결합된 "교과서"적인 예시가 충분하지 않습니다. 대부분의 경우, 외곽선은 있지만 설명이 없거나, 설명은 있지만 외곽선이 없는 사진들이 존재합니다.

여기서 PixVL이라는 새로운 방법이 구원자로 등장합니다. 연구진은 로봇이 더 많은 교과서를 필요로 하는 대신, "자기 점검(self-check)" 게임을 통해 배울 수 있다는 것을 깨달았습니다. 그들은 로봇이 마스킹 처리된 물체를 설명하려고 시도하고, 그 직후에 그 설명을 사용하여 해당 물체를 다시 찾아내도록 하는 시스템을 만들었습니다. 만약 로봇이 방금 설명한 것과 정확히 일ことで 같은 물체를 찾을 수 있다면, 로봇은 자신이 잘 해냈다는 것을 알게 됩니다. 하지만 연구팀은 까다로운 문제를 발견했습니다. 로봇이 단순히 비슷해 보이는 모양을 그린다고 해서 그 설명이 실제로 똑똑하다는 뜻은 아니라는 것입니다. 로봇은 "왼쪽 상단에 있는 것"이라고 말하는 식의 지름길을 사용할 수 있는데, 이는 사진이 바뀌지 않는다면 작동하겠지만, 물체가 움직이면 실패하게 됩니다. 이를 해결하기 위해, PixVL은 단순히 모양이 맞는지 확인하는 것을 넘어, "너는 저 다섯 마리의 매우 유사한 개들 사이에서 이 특정 개를 골라낼 수 있니?"라고 묻는 엄격한 선생님처럼 행동합니다. 만약 로봇이 목표물을 '혼동 유발 요소(confusers)'로부터 구별해내지 못한다면, 점수는 0점이 됩니다. 이 영리한 "하나 고르기" 테스트와 다양한 각도에서 로직을 확인하는 방식(예: 몇 초 후의 비디오 프레임 보기)을 사용하여, PixVL은 모델이 추가적인 인간 작성 라벨 없이도 더 나은 화가이자 더 나은 비평가가 되도록 가르칩니다.

문제점: 학습의 "양날의 검"

당신이 로봇에게 두 가지 일을 동시에 하도록 훈련시킨다고 상상해 보세요: **영역 분할(Region Segmentation, 물체의 완벽한 외곽선을 그리는 것)**과 **영역 이해(Region Understanding, 그 물체를 설명하는 문장을 쓰는 것)**입니다. 과거에 연구자들은 이 두 가지 기술을 하나의 큰 모델에서 함께 가르치려고 시도했습니다. 하지만 그들은 벽에 부딪혔습니다. 이 두 작업은 서로 충돌한다는 것이 밝혀졌습니다.

이것은 마치 학생이 미적분과 시를 동시에 배우려고 노력하는 것과 같습니다. 만약 선생님이 미적분 숙제를 너무 많이 내주면, 학생은 수학은 잘하게 될지 몰라도 좋은 시를 쓰는 법은 잊어버릴 수 있습니다. 논문은 "시" 훈련 데이터를 제거했을 때 로봇의 수학(분할) 능력이 향상되었다는 것을 보여줍니다. 반대로 "수학" 훈련 데이터를 제거했을 때, 로봇의 시(이해) 능력이 향려졌습니다. 그들은 동일한 뇌 용량을 두고 경쟁하고 있었으며, 로봇은 그 중간에 끼어 제대로 된 것을 수행하지 못한 채 갇혀 있었습니다.

설상가상으로, "완벽한" 훈련 데이터가 부족합니다. 우리는 외곽선(마스크)이 있는 이미지는 수백만 장 가지고 있지만, 그들을 설명하는 데 필요한 구체적이고 고품질의 문장이 포함된 경우는 매우 드뭅니다. 이는 마치 색칠 공부 책은 수백만 권이 있는데, 어떤 색을 사용해야 하는지 혹은 그림이 무엇을 나타내는지에 대한 설명이 없는 것과 같습니다.

해결책: 자기 점검 루프

PixVL 팀은 이 수백만 개의 "빈" 색칠 공부 책(외곽선은 있지만 텍스트는 없는 이미지)을 사용하여 로봇을 가르칠 수 있는 영리한 방법을 고안했습니다. 그들은 **마스크-텍스트 일관성 사이클(Mask–Text Consistency Cycle)**을 구축했습니다.

이 사이클의 단계별 과정은 다음과 같습니다:

1. 설명 단계: 로봇은 특정 물체가 마스킹 처리된(예: 개) 이미지를 보고, 그 물체에 대한 설명을 쓰려고 시도합니다.
2. 재구성 단계: 그런 다음 로봇은 그 설명을 가져가서, 오직 방금 쓴 단어들에만 기반하여 이미지에서 해당 물체를 다시 찾고 새로운 외곽선을 그립니다.
3. 점검: 만약 새로운 외곽선이 원래의 마스크와 일치한다면, 로봇은 보상을 받습니다.

처음에 연구진은 이 단순한 루프만으로 충분할 것이라고 생각했습니다. 그들은 "만약 로봇이 모양을 다시 그릴 수 있다면, 설명이 좋은 것이 틀림없다"라고 생각했습니다. 하지만 그들은 이것이 함정임을 빠르게 깨달았습니다.

함정: "모양"만으로는 부족하다

논문은 단순히 모양이 일치하는지 확인하는 것(IoU라고 불리는 지표 사용)이 설명의 품질을 판단하는 나쁜 방법이라고 주장합니다.

로봇이 똑같이 생긴 두 마리의 골든 리트리버가 있는 사진을 보고 있다고 상상해 보세요.

• 시나리오 A: 로봇이 "왼쪽에 있는 개"라고 씁니다. 로봇은 왼쪽 개를 그립니다. 모양이 완벽하게 일치합니다. 점수: 100%.
• 시나리오 B: 로봇이 "오른쪽에 있는 개"라고 씁니다. 로봇은 오른쪽 개를 그립니다. 모양이 완벽하게 일치합니다. 점수: 100%.

하지만 잠깐! 만약 로봇이 왼쪽 개를 설명해야 했다면, 시나리오 B는 실패입니다. 비록 모양은 완벽할지라도 말이죠. 로봇은 그 개가 실제로 어떻게 생겼는지 배우는 대신 "왼쪽" 또는 "오른쪽"이라고 말하는 지름길을 사용한 것입니다. 만약 사진이 약간 변했다면, 로봇은 실패했을 것입니다.

논문은 높은 모양 일치 점수가 좋은 설명을 의미하지 않는다는 점을 명시적으로 배제합니다. 그들은 설명이 모호하더라도(예: "이미지 속의 개들") 괜찮은 모양 점수를 얻을 수 있으며, 반대로 매우 구체적이더라도 유사한 다른 개를 선택했기 때문에 실패할 수 있다는 것을 발견했습니다.

해결책: "혼동 유발 요소" 테스트

로봇이 지름길을 사용하지 못하게 하기 위해, PixVL은 **혼동 유발 인지 의미론적 검증(Confuser-Aware Semantic Verification)**을 도입합니다.

단순히 "네가 모양을 제대로 그렸니?"라고 묻는 대신, 시스템은 "너는 닮은꼴 무리 중에서 올바른 개를 골라낼 수 있니?"라고 묻습니다.

설정은 다음과 같습니다:

• 로봇에게 타겟 물체(주인공)를 보여줍니다.
• 시스템은 "혼동 유발 요소(confusers)" 그룹을 생성합니다. 즉, 매우 비슷하게 생겼거나 같은 사진 안에 있는 다른 물체들(예: 더 큰 개, 더 작은 개, 또는 바로 옆에 있는 개)입니다.
• 로봇은 자신의 설명을 바탕으로 올바른 "주인공"을 선택해야 합니다.

만약 로봇이 올바른 것을 고르면, 확신도에 따라 보상을 받습니다. 만약 잘못된 것을 고르면, 보상은 0점입니다. 이는 로봇이 단순히 모호한 추측을 하는 대신, 유사한 것들 사이에서 차이를 구별할 수 있을 만큼 구 sufficiently 구체적인 설명을 쓰도록 강제합니다.

"크로스 뷰" 기술: 지름길을 깨뜨리기

한 가지 문제가 더 있었습니다. 혼동 유발 테스트가 있더라도, 로봇은 여전히 물체의 위치를 암기하는 방식(예: "그것은 항상 왼쪽 상단에 있다")으로 지름길을 사용할 수 있습니다.

이를 해결하기 위해, PixVL은 **크로스 뷰 검증(Cross-View Verification)**을 사용합니다.

• 데이터가 비디오에서 온 경우, 로봇은 한 프레임(프레임 A)에서 물체를 설명합니다.
• 그다음, 로봇은 물체가 이동하거나 크기가 변하거나 배경이 바뀐 이후의 프레임(프레임 B)에서 동일한 물체를 찾아야 합니다.
• 만약 로봇이 단순히 "왼쪽 상단"이라고만 말했다면, 프레임 B에서 물체가 이동했기 때문에 실패할 것입니다.
• 따라서 로봇은 물체의 실제 특징(예: "빨간 목줄을 찬 개")을 설명해야만 성공할 수 있습니다.

이는 로봇이 단순히 위치를 배우는 것이 아니라, 물체의 진정한 정체성을 배우도록 보장합니다.

마법의 접착제: 두 작업의 결합

마지막 퍼즐 조각은 이 두 방향(설명과 그리기)을 서로 싸우는 대신 서로 돕도록 결합하는 방법입니다.

그들은 품질 결합 양방향 학습(Quality-Coupled Bidirectional Learning) 전략을 사용합니다:

1. 로봇은 동일한 물체에 대해 여러 가지 다른 설명들을 생성합니다.
2. "혼동 유발" 및 "크로의 뷰" 체크를 사용하여 이 모든 설명을 테스트합니다.
3. 가장 좋은 설명(가장 높은 보상을 받은 설명) 하나를 선택합니다.
4. 이 최상의 설명이 로봇의 "그리기" 부분을 훈련하는 데 사용됩니다.
5. 결정적으로, "그리기" 부분은 그 기초가 된 설명이 고품질일 때만 강력한 보상을 받습니다. 만약 설명이 좋지 않다면, 그리기 훈련은 약해지거나 무시됩니다.

이것은 두 작업을 하나의 팀으로 만듭니다. "이해" 부분이 최상의 지침을 생성하면, "분할" 부분이 그 지침을 따릅니다. 만약 지침이 나쁘다면, 팀은 다시 시도해야 한다는 것을 알게 됩니다.

결과: 모두의 승리

연구진은 이 방법을 SAM-Tok(40억 파라미터 모델)에 테스트했습니다. 그들은 PixVL 사이클을 사용하여 텍스트 설명은 없지만 마스크는 있는 250,000개의 이미지를 훈련시켰습니다.

결과는 인상적이었습니다:

• 분할(Segmentation): 외곽선을 그리는 모델의 능력이 크게 향상되었습니다. GroundingSuite 테스트에서 점수가 56.1에서 64.8로 올랐습니다. RefCOCO 데이터셋에서도 일관된 상승(예: RefCOCO에서 82.7)을 보였습니다.
• 이해(Understanding): 물체를 설명하는 모델의 능력도 향상되어, DLC-Bench 테스트에서 69.7을 기록했습니다.

논문은 PixVL이 "싸우는 작업" 문제를 성공적으로 해결했다고 결론짓습니다. 모델이 스스로의 작업을 "혼동 유발 요소"와 변화하는 뷰를 통해 점검하는 자기 지도 학습 루프를 사용함으로써, 별도의 인간 작성 라벨 없이도 더 나은 예술가이자 더 나은 비평가가 될 수 있었습니다. 이 방법의 코드는 다른 이들도 사용할 수 있도록 공개되어 있으며, 때로는 최고의 스승이 바로 학생 자신이라는 것을 증명합니다.