💻 computer science

The JEPA Predictor: A Transferable Operator for Occluded Feature Completion

이 논문은 결합 임베딩 예측 아키텍처(JEPA)의 예측기 구성 요소를 동결하고 단순한 선형 투영을 통해 비-JEPA 인코더로 전이함으로써, 기반 모델의 재학습 없이도 누락된 특징을 효과적으로 완성하여 가려진 입력에 대한 성능을 크게 향상시킬 수 있음을 입증한다.

원저자: William Nguyen, Christopher Nguyen

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: William Nguyen, Christopher Nguyen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이는 방 안에서 친구를 알아보려고 한다고 상상해 보세요. 그런데 누군가 그 친구의 얼굴 절반을 가리는 거대하고 불투명한 상자를 씌워 놓았습니다. 당신의 뇌는 빈칸을 채우는 데 매우 놀라운 능력을 갖추고 있습니다. 당신은 보이는 귀, 머리카락, 그리고 방의 맥락을 이용해 가려진 얼굴이 어떻게 생겼을지 추측합니다. 인공지능의 세계에서도 컴퓨터는 전체 그림을 볼 수 있을 때 사물을 인식하는 데 매우 뛰어난 능력을 보여줍니다. 하지만 나무 뒤에 부분적으로 가려진 자동차나, 금속 임플란트에 의해 잘려 나간 의료 스캔 영상처럼 이미지의 일부가 사라진 경우, 이 똑똑한 컴퓨터들은 종종 혼란에 빠져 실수를 저지르곤 합니다.

수년 동안 과학자들은 이를 해결하기 위해 두 가지 주요 유형의 "똑똑한 눈"(AI 모델)을 구축해 왔습니다. 한 유형은 퍼즐의 빠진 조각을 맞추는 법을 배우며(현재를 바탕으로 미래를 예측함), 다른 유형은 서로 다른 사진들을 비교하여 유사점을 찾는 법을 배웁니다. 보통 이러한 모델들이 학습을 마치면, "추측"을 담당하는 부분은 학습 단계에서만 필요하기 때문에 버려집니다. 최종 결과물은 단지 그림을 보는 "눈"일 뿐입니다. 하지만 만약 그 버려진 "추측 기계"가 우리가 잊고 있었던 초능력이었다면 어떨까요? 이 논문은 단순하고 유쾌한 질문을 던집니다. 한 유형의 AI에서 가져온 "추측 기계"를 다른 유형의 AI에 결합하여, 사라진 정보의 안개 속에서도 선명하게 볼 수 있도록 도울 수 있을까?

Aitomatic, Inc.의 윌리엄(William)과 크리스토퍼 응우옌(Christopher Nguyen) 연구원들은 그 답이 확실한 "예"라는 것을 발견했습니다. 그들은 특정 AI 구조인 JEPA(Joint-Embedding Predictive Architecture)의 "예측기(predictor)" 부분이 누락된 정보에 대한 보편적인 번역기 역할을 한다는 것을 발견했습니다. 이 예측기는 특정 유형의 AI를 위해 훈련되었음에도 불구하고, 간단한 수학적 가교를 통해 CLIP, DINOv3, DINOv2, MAE와 같은 완전히 다른 네 가지 인기 있는 AI 모델에 "플러그인"될 수 있음을 보여주었습니다.

실험 방식은 다음과 같습니다. 강아지 사진이 있는데, 검은색 직사각형에 의해 77%가 가려져 있다고 상상해 보세요. 표준 AI 모델은 보이는 아주 작은 부분만을 보고 이 동물이 고양이인지 혹은 바위인지 추측할 수도 있습니다. 연구진은 JEPA 모델에서 가져온 "동결된(변하지 않는)" 예측기를 다른 AI 모델들에 연결했습니다. AI가 보이는 부분을 감지하면, 그 정보를 간단한 선형 가교를 통해 JEFA 예측기로 전달합니다. 그러면 예측기는 자신의 훈련 내용을 바탕으로 가려진 강아지의 나머지 77%의 특징이 어떠해야 하는지를 "환각(hallucinate)"하거나 예측합니다. 마지막으로 시스템은 실제 보이는 부분과 예측된 숨겨진 부분을 결합하여 최종적인 추측을 내놓습니다.

결과는 매우 놀라웠으며, 특히 이미지가 심하게 가려졌을 때 더욱 그러했습니다. 개 품종 데이터셋에서 표준 AI 모델(CLIP)은 이미지의 77%가 가려졌을 때 정확도가 15.9%라는 형편없는 수준으로 떨어졌습니다. 하지만 JEPA 예측기를 부착하자, 정확도는 52.1%로 급등했습니다. 이는 36 퍼센트 포인트라는 엄청난 상승입니다. 더 적은 범주를 가진 또 다른 데이터셋에서는, 모델이 누락된 부분으로 인해 잃어버렸던 정확도를 거의 모두 회복했습니다.

이 논문은 이것이 "비용-편익(cost-benefit)"의 균형 덕분에 가능하다고 설명합니다. 두 모델을 연결하는 간단한 가교는 완벽하지 않아서, 실제로 보이는 이미지 부분의 정보를 약간 왜곡합니다(비용). 하지만 예측기는 누락된 부분을 추측하는 데 매우 탁나서(편익). 이미지가 대부분 보일 때는 왜곡되는 비용이 너무 커서 시스템이 별로 도움이 되지 않습니다. 하지만 이미지가 심하게 가려졌을 때(77%가 가려진 경우)는, 누락된 부분에 대한 좋은 추측을 얻는 데서 오는 편익이 왜곡의 작은 비용을 완전히 압도합니다. 예측기는 본질적으로 서로 다른 AI 가문들 사이에서도 재학습 없이 작동하는 휴대 가능한 "특징 완성(feature completion)" 도구가 됩니다.

연구진은 누락된 부분이 TV 화면의 노이즈처럼 무작위로 흩어져 있는 경우에도 테스트를 진행했습니다. 그 경우 예측기는 큰 도움이 되지 않았는데, 이는 이 예측기가 나무가 자동차를 가리거나 사진의 일부가 잘려 나간 것처럼 크고 연속적인 덩어리로 누락된 정보를 처리하도록 특화되어 있음을 시사합니다. 또한 그들은 이것이 단순히 흐릿한 가장자리를 부드럽게 만들거나 픽셀을 채우는 것이 아니라, 컴퓨터가 물체의 정체성을 이해할 수 있게 해주는 고차원적인 특징들을 실제로 재구성하는 것임을 증명했습니다.

요컨대, 이 논문은 누락된 데이터를 처리하기 위해 항상 처음부터 거대한 새로운 AI를 만들 필요는 없다는 것을 보여줍니다. 우리는 하나의 작업을 위해 만들어진 특화된 "추측 엔진"을 가져와서, 간단한 수학적 어댑터를 통해 다른 AI 모델들을 강화하고, 이미지가 깨져 있을 때도 명확하게 볼 수 있도록 도울 수 있습니다.

기술 요약: 폐쇄된 특징 완성을 위한 전이 가능한 연산자로서의 JEPA 예측기

1. 문제 정의

동결된 이미지 인코더는 종종 부분적인 입력(예: 가려진 자율 주행 프레임 또는 절단된 의료 스캔)에 배치됩니다. 마스킹된 패치( $K$ )의 비율이 증가함에 따라, 가장 강력한 판별적 인코더(CLIP, DINOv2, MAE 등)조차도 급격한 정확도 저하를 겪습니다. 마스크 이미지 모델링(MIM)과 대조 학습 기반 방식들이 존재하지만, 이들은 심한 폐쇄 상황에서 더욱 성능이 저하되는 경향이 있습니다.

JEPA(Joint-Embedding Predictive Architectures)는 가시적 컨텍스트 특징을 타겟 위치의 특징으로 매핑하는 예측 헤드를 학습시킵니다. 그러나 표준적인 다운스트림 프로토콜은 이 예측기를 버리고 인코더만을 사용합니다. 본 논문은 중요한 간극을 조사합니다: 전통적으로 폐기되었던 동결된 JEPA 예측기가 비-JEPA 인코더를 위한 휴대 가능한 "특징 완성(feature completion)" 연산자로 기능할 수 있는가? 구체적으로, 호스트 인코더나 예측기를 재학습시키지 않고도 폐쇄로 인해 손실된 정확도를 복구할 수 있는가?

2. 방법론

제안된 프로토콜은 동결된 "호스트" 인코더(비-JEPA)를 동결된 "기증자(donor)" JEPA 예측기와 경량 브릿지를 통해 연결합니다.

교차 인코더 브릿지 ( $W$ ): 비-JEPA 호스트를 JEPA 기증자와 쌍을 이루게 하기 위해, 호스트의 특징 공간과 기증자 JEPA 인코더의 특징 공간 사이에 단일 선형 투영 $W$ 를 적합(fit)시킵니다. 이는 500장의 마스킹되지 않은 ImageNet-1k 이미지를 사용하여 폐쇄형 리지 최소제곱법(closed-form ridge least squares)을 통해 수행됩니다. $W$ 는 호스트-기증어 쌍당 한 번만 적합되며, 모든 마스크 비율과 데이터셋에 대해 재사용됩니다.
테스트 타임 프로토콜:
1. 인코딩: 호스트 인코더가 입력 이미지의 가시적(마스킹되지 않은) 패치들을 처리합니다.
2. 투영: 가시적 특징들은 $W$ 를 통해 기증자 JEPA의 특징 공간으로 투영됩니다.
3. 예측: 동결된 JEPA 예측기는 투영된 가시적 특징과 마스킹된 패치의 위치를 소비하여, 마스킹된 영역에 대한 예측된 특징을 생성합니다.
4. 스티칭(Stitching): 투영된 가시적 특징과 예측된 마스킹 특징을 결합하여 시퀀스를 재구성합니다.
5. 분류: 테스트 시 사용된 것과 동일한 마스크 비율 $K$ 에 특화되어 학습된 선형 프로브(a "matched probe")가 완성된 특징 시퀀스를 분류합니다.
제약 조건: 백본 파라미터(호스트 또는 기증자)는 업데이트되지 않습니다. 추론 과정 중 인코더나 예측기로 그래디언트가 흐르지 않습니다. 유일하게 학습 가능한 구성 요소는 마스크 비율마다 적합되는 선형 프로브입니다.

3. 주요 기여

프로토콜 도입: 단일 폐쇄형 선형 투영을 통해 동결된 JEPA 예측기를 어떤 동결된 이미지 인코더와도 연결할 수 있는 방법론을 제시하며, 백본의 재학습을 요구하지 않습니다.
경험적 벤치마킹: 네 가지 비-JEPA 호스트(CLIP, DINOv3, DINOv2, MAE), 두 개의 JEPA 기증자(I-JEPA, V-JEPA 2), 세 가지 마스크 비율( $K \in \{0.25, 0.56, 0.77\}$ ), 그리고 두 개의 데이터셋(ImageNet-9, Stanford Dogs)에 걸쳐 평가를 수행했습니다.
메커니즘 식별: 선형 투영이 가시적 패치에 대해 고정된 비용을 부과하는 반면, 예측기가 마스킹된 패치에 대해 성장하는 이득을 제공한다는 비용-편익 역학(cost-benefit dynamic)을 규명했습니다. 이는 왜 이득이 $K$ 에 따라 단조 증가하는지, 그리고 선형 브릿지가 어디서 실패하는지(미세 조정 작업에서의 낮은 $K$ )를 설명합니다.

4. 결과

단조 증가하는 이득(Monotonic Lift): 모든 호스트-기증자 쌍에서, 마스크 비율 $K$ 가 증가함에 따라 호스트의 마스킹된 인코더 베이스라인 대비 정확도 상승폭( $\Delta$ )이 단조 증가합니다.
심한 폐쇄 성능:
- ImageNet-9에서 $K=0.77$ 일 때, CLIP과 I-JEPA 예측기 조합은 마스킹으로 인한 정확도 손실을 대부분 복구하여, 베이스라인인 73.62% 대비 23.46%p의 상승폭을 달성하며 97.08%에 도달했습니다.
- Stanford Dogs(미세 조정 120-way)에서 동일한 조합은 $K=0.77$ 일 때 정확도를 15.87%에서 52.05%로(+36.18%p) 끌어올렸습니다.
- 8개의 호스트-기증자 쌍 중 7개는 두 데이터셋 모두에서 심한 폐쇄 시 통계적으로 유의미한 양의 상승(95% CI > 0)을 보였습니다.
호스트 의존성: 이득은 호스트의 고유한 폐쇄 강건성과 역상관 관계를 가집니다. 폐쇄에 가장 취약한 CLIP이 가장 큰 이득을 보였고, 더 강건한 DINOv3/DINOv2는 작지만 여전히 양수인 이득을 보였습니다.
JEPA 내부 전문화: JEPA 인코더가 자신의 고유한 예측기와 쌍을 이룰 경우, 브릿지 없이도 $K=0.77$ 에서 전체 이미지에 가까운 정확도를 유지하며, 가장 강력한 인코더 전용 베이스라인을 상당한 차이로 능가합니다.
메커니즘 검증:
- 비용-편익: 선형 브릿지 $W$ 는 "손실적(lossy)"입니다(특징 분산에 대한 $R^2$ 가 낮음). 즉, 가시적 패치에 비용을 지불하지만, 예측기가 마스킹된 패치에 주는 이득이 $K$ 가 높을 때 이를 압도합니다.
- 실패 모드: 미세 조정 작업에서 낮은 $K$ (예: $0.25$)일 때, 투영 비용이 예측기의 한계 이득을 초월하여 음의 이득(negative lift)이 발생합니다. 이는 선형 브릿지가 붕괴되는 경계를 정의합니다.
- 연속성: 이득은 연속적인 폐쇄(중앙 직사각형 마스크)에 특이적입니다. 무작위 베르누이 마스크(주변 이웃이 존재하는 경우)에서는 이득이 사라지며, 이는 단순한 로컬 스무딩이 원인이 아님을 입증합니다.
- 잠재 공간 vs 픽셀 공간: JEPA 잠재 공간 완성은 픽셀 공간 재구성(MAE 디코더) 후 재인코딩하는 방식보다 성능이 월등히 뛰어나며, 이는 특징 공간 외삽(feature-space extrapolation)의 가치를 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 JEPA 예측기가 다양한 인코더 기하 구조에 의해 준수되는, 폐쇄된 특징 완성을 위한 휴대 가능한 연산자로서 기능한다고 주장합니다.

전이 가능성: 예측기는 자신의 고유한 JEPA 제품군뿐만 아니라 다양한 인코더 기하 구조가 존중하는 특징-위치-컨텍스트의 함수를 학습합니다.
진단적 전환: 재사용된 예측자의 경우 사전 학습 손실이 대상 인코더의 메트릭을 출력으로 제한하지 않을 수 있으므로(예: V-JEPA 2), L2 재구성 오차보다는 매치드 프로브(matched-probe) 정확도가 적절한 진단 지표라고 주장합니다.
실용성: 대규모 모델의 재학습 없이, 단 한 번의 폐쇄형 선형 투영 적합과 마스크 비율당 선형 프로브 적합만으로 구현 가능합니다.
한계점: 저자들은 이득이 낮은 마스크 비율( $K < 0.25$ )에서 사라진다는 점과 현재 방식이 연속적인 폐쇄 및 자연 이미지 분포로 제한된다는 점을 언급했습니다. 또한 낮은 폐쇄 상황의 미세 조정 작업에서 선형 브릿지가 실패하는 것은 향후 비선형 브릿지의 필요성을 시사합니다.

결론적으로, 본 논문은 전이 가능한 완성 모듈이 도입될 때, 전체 이미지 정확도를 기준으로 한 기존의 자기지도 학습 인코더 순위가 균일하게 적용되지 않는다는 점을 시사합니다. 즉, "최적의" 인코더는 마스크 비율과 호환 가능한 예측기의 가용성에 따라 달라집니다.