🤖 AI

FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment

이 논문은 대규모 시각 - 언어 데이터셋에서 발생하는 위음성 (false negatives) 문제를 해결하기 위해, 미니배치 구성 시 가상의 교차모달 정렬 개선을 기준으로 하드 네거티브와 위음성 간의 균형을 동적으로 조절하는 'FALCON'이라는 학습 기반 전략을 제안하고, 이를 통해 다양한 프레임워크와 하위 작업에서 성능을 크게 향상시켰음을 보여줍니다.

원저자: Myunsoo Kim, Seongwoong Shim, Byung-Jun Lee

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Myunsoo Kim, Seongwoong Shim, Byung-Jun Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🦅 FALCON: 비주얼-언어 학습의 '가짜 적'을 찾아내는 똑똑한 코치

이 논문은 **이미지와 텍스트를 함께 배우는 인공지능 (VLP)**이 겪는 골치 아픈 문제를 해결하는 새로운 방법, FALCON을 소개합니다.

상상해 보세요. 인공지능이 "개"라는 단어를 배우려고 수많은 사진과 문장을 보고 있다고 칩시다. 그런데 여기서 문제가 생깁니다.

🚨 문제: "가짜 적" (False Negatives) 의 함정

인공지능이 학습할 때, 정답이 아닌 것 (부정 샘플) 을 보여주고 "이건 개가 아니야!"라고 가르쳐야 합니다. 이때 너무 비슷한 것을 보여주면 (예: "개"와 "늑대") 학습이 잘 됩니다. 이를 **'하드 네거티브 (Hard Negative)'**라고 부릅니다.

하지만 여기서 함정이 하나 있습니다.

진짜 정답인데, 인공지능이 오해해서 '가짜 적'으로 분류하는 경우가 생깁니다.
예를 들어, "개"라는 문장에 대해, 실제로는 개 사진인데 인공지능이 "아, 이건 늑대야 (부정)"라고 잘못 판단하고 학습시키는 상황입니다.

이런 **가짜 적 (False Negative)**이 섞이면, 인공지능은 "아, 개와 늑대는 완전히 다른 거구나!"라고 잘못 배우게 되어, 나중에 진짜 개를 못 찾게 됩니다. 기존 방법들은 "너무 비슷한 것"을 무작정 찾아내려다 보니, 이 가짜 적들을 많이 끌어안고 학습하게 되는 문제가 있었습니다.

🦅 해결책: FALCON (FALCON)

이 논문은 FALCON이라는 새로운 학습 전략을 제안합니다. FALCON 은 **"가짜 적을 알아차리고, 적절한 강도의 적을 골라주는 지능형 코치"**라고 생각하시면 됩니다.

🎯 핵심 비유: "스마트한 사냥꾼"

기존의 학습 방식은 다음과 같았습니다:

"너무 비슷한 것 (하드 네거티브) 을 무조건 많이 찾아서 훈련시켜라!"
👉 결과: 진짜 정답인 것도 가짜 적으로 오해해서 혼란스러워함.

FALCON 의 방식은 다음과 같습니다:

"지금 이 학생 (인공지능) 의 수준과 상황에 따라, 어떤 강도의 적을 보여줄지 스마트하게 결정해라."

초반에는: 학생이 아직 초보일 때는 너무 어려운 문제 (너무 비슷한 것) 를 주면 오히려 혼란스럽습니다. 그래서 **약간 다른 것 (쉬운 부정 샘플)**을 먼저 보여줍니다.
나중에는: 학생이 실력이 늘면, **너무 비슷한 것 (하드 네거티브)**을 보여줘서 실력을 더 끌어올립니다.
가짜 적 감지: 만약 "이건 진짜 정답인데, 너무 비슷해서 가짜 적으로 오해할 것 같다"라고 판단되면, 과감히 그걸 제외하고 다른 것을 골라냅니다.

이 모든 과정을 학습하는 동안 실시간으로 조절하는 것이 FALCON 의 핵심입니다.

🛠️ 어떻게 작동할까요? (간단한 원리)

FALCON 은 **'스케줄러 (Scheduler)'**라는 작은 코치를 훈련시킵니다.

입력: 현재 인공지능이 보고 있는 이미지와 텍스트의 유사도 분포.
판단: "지금 이 학생에게는 '하드 네거티브'가 좋을까, 아니면 '가짜 적' 위험이 큰지 확인하고 '쉬운 네거티브'를 골라야 할까?"
출력: 다음 학습 세션에 보여줄 적절한 난이도의 샘플을 선택합니다.

이 코치는 MLM (마스크된 언어 모델링) 손실 감소량을 보며 스스로 학습합니다. 즉, "어떤 샘플을 골랐을 때 인공지능이 더 잘 배우는지"를 경험으로 익혀가며, 가짜 적과 진짜 하드 네거티브 사이의 **최적의 균형 (Trade-off)**을 찾아냅니다.

🏆 성과: 왜 중요할까요?

실험 결과, FALCON 은 기존 방법들보다 훨씬 뛰어난 성과를 냈습니다.

다양한 모델 적용: ALBEF, BLIP-2, SigLIP-2 등 최신 모델들 모두에 적용 가능했습니다.
하류 작업 향상: 이미지 검색, 시각적 질문 답변 (VQA), 논리 추론 등 다양한 작업에서 성능이 크게 개선되었습니다.
강건함: 데이터에 노이즈가 많거나 (웹에서 긁어온 데이터), 학습 단계가 달라져도 스스로 적응하며 좋은 성능을 유지했습니다.

💡 한 줄 요약

"인공지능이 학습할 때, '너무 비슷한 가짜 적'에 속아 넘어가지 않도록, 학습 단계와 상황에 맞춰 '적절한 난이도의 문제'를 골라주는 똑똑한 코치 FALCON 이 등장했습니다!"

이 기술은 인공지능이 세상을 더 정확하게 이해하고, 이미지와 언어를 자연스럽게 연결하는 데 큰 도움을 줄 것으로 기대됩니다.

1. 문제 정의 (Problem)

시각 - 언어 프리트레이닝 (VLP, Vision-Language Pretraining) 은 대규모 이미지 - 텍스트 쌍을 학습하여 크로스모달 표현을 배우는 것을 목표로 합니다. 그러나 웹 크롤링된 데이터셋은 이미지와 텍스트 간의 다대다 (many-to-many) 대응 관계를 가지며, 이로 인해 거짓 음성 (False Negatives) 문제가 발생합니다.

거짓 음성의 정의: 본래 의미적으로 일치하는 (Positive) 쌍임에도 불구하고, 모델이 이를 부정적 샘플 (Negative) 로 잘못 인식하는 경우입니다.
경직된 하드 네거티브 샘플링의 한계: 기존 연구들은 학습을 가속화하기 위해 의미적으로 유사한 '하드 네거티브 (Hard Negatives)'를 샘플링하는 전략을 사용했습니다. 그러나 유사도 기준을 높일수록 (하드 네거티브를 더 많이 포함할수록) 진짜 양성을 거짓 음성으로 잘못 분류할 확률도 급격히 증가합니다.
동적 변화: 최적의 네거티브 샘플링 난이도는 학습 단계 (초기 vs 후기) 와 앵커 (Anchor) 의 복잡도에 따라 동적으로 변합니다. 고정된 임계값이나 휴리스틱 기반의 필터링은 이러한 동적인 변화를 따라가지 못해 학습 효율을 저하시키거나 표현 공간의 품질을 떨어뜨립니다.

2. 제안 방법론: FALCON (Methodology)

저자들은 **FALCON (False-negative Aware Learning of COntrastive Negatives)**을 제안합니다. 이는 휴리스틱에 의존하지 않고, 학습 기반 (Learning-based) 으로 미니배치 구성 시 '하드 네거티브'와 '거짓 음성' 간의 트레이드오프를 동적으로 조절하는 전략입니다.

핵심 구성 요소

네거티브 마이닝 스케줄러 (Negative Mining Scheduler, $\pi_\phi$ ):
- 각 앵커 (Anchor) 인스턴스마다 적절한 네거티브 샘플의 '경직도 (Hardness)'를 결정하는 확률 분포 (Beta 분포) 를 예측합니다.
- 입력: 검색 공간 내 후보 샘플 간의 유사도 분포 행렬 ( $\tilde{S}$ ).
- 출력: 각 앵커에 대한 하드니스 분수 (Quantile, $q \in [0, 1]$ ) 예측. $q=1$ 은 가장 유사한 (가장 어려운) 네거티브를, $q=0$ 은 덜 유사한 네거티브를 의미합니다.
- 구조: 경량화된 4 층 잔류 MLP (Residual MLP) 를 사용하며, 행렬의 행 순서를 정렬하여 입력함으로써 순열 불변성 (Permutation Equivariance) 을 보장합니다.
미니배치 구성 전략:
- 기존 GRIT-VLP 와 유사하게 국소 검색 공간 내에서 샘플을 선택하지만, 고정된 '가장 유사한 샘플' 대신 스케줄러가 예측한 분수 ( $q$ ) 에 해당하는 유사도 수준의 샘플을 선택합니다.
- 이를 통해 초기 학습 단계에서는 학습을 촉진하기 위해 더 어려운 네거티브를, 학습이 진행되어 거짓 음성의 위험이 커지면 상대적으로 안전한 네거티브로 동적으로 전환합니다.
스케줄러 학습 신호 (Proxy Objective):
- 스케줄러를 학습시키기 위해 **마스크 언어 모델링 손실 (MLM Loss, $L_{MLM}$ )**의 감소량을 최적화 목표로 사용합니다.
- 논리: $L_{MLM}$ 의 감소는 시각적 맥락이 언어 이해에 통합되어 크로스모달 정렬 (Alignment) 이 개선되었음을 나타내는 지표 (Proxy) 로 작용합니다.
- 반대로, ITC 나 ITM 손실을 직접 최적화하면 모델이 쉬운 네거티브를 exploiting 하도록 유도하여 VLP 학습을 방해할 수 있음을 실험적으로 확인했습니다.

3. 주요 기여 (Key Contributions)

학습 기반 트레이드오프 최적화: 크로스모달 대비 학습에서 '하드 네거티브'와 '거짓 음성' 간의 트레이드오프를 명시적으로 스케줄링하는 최초의 학습 기반 접근법입니다.
새로운 아키텍처 및 훈련 체계: 고정된 휴리스틱이나 외부 사전 학습 모델에 의존하지 않고, 미니배치 구성 과정에서 동적으로 최적의 유사도 수준을 선택하는 경량 스케줄러와 훈련 방식을 제안했습니다.
광범위한 검증: ALBEF, BLIP-2, SigLIP-2 등 세 가지 서로 다른 VLP 프레임워크와 다양한 하위 작업 (검색, VQA, NLVR 등) 에서 FALCON 의 효과와 강건성을 입증했습니다.

4. 실험 결과 (Results)

성능 향상: MSCOCO, Conceptual Captions, DataComp 등 다양한 데이터셋에서 기존 휴리스틱 방법 (GRIT-VLP, MAFA 등) 보다 일관되게 우수한 성능을 기록했습니다.
- IRTR (이미지 - 텍스트 검색): 텍스트 검색 (R@1) 에서 62.28 (FALCON) vs 60.96 (MAFA) 등 유의미한 개선.
- VQA 및 NLVR: 하위 작업에서도 일관된 성능 향상을 보였습니다.
동적 적응성: 학습 초기에는 높은 분수 ( $q \approx 1$ ) 를 사용하여 어려운 네거티브를 많이 포함하고, 학습이 진행됨에 따라 거짓 음성 위험을 줄이기 위해 분수를 동적으로 낮추는 것을 시각화 (Figure 6) 를 통해 확인했습니다.
다른 프레임워크와의 호환성:
- BLIP-2: 생성형 목적 함수 (ITG Loss) 를 사용하여 FALCON 적용 시에도 성능이 크게 향상되었습니다.
- SigLIP-2: 이미지 - 텍스트 검색 성능은 크게 개선되었으나, 텍스트 - 이미지 검색에서는 한계가 있었습니다. 이는 생성형 손실이 비전 인코더에 의존하기 때문으로 분석되었으며, 이는 향후 개선 방향을 제시합니다.
효율성: 스케줄러 학습으로 인한 추가적인 계산 비용이 있으나, 전체적인 학습 시간 대비 성능 향상 (Wall-clock time 기준) 이 기존 방법들보다 뛰어났습니다.

5. 의의 및 결론 (Significance)

FALCON 은 대규모 VLP 데이터셋에서 불가피하게 발생하는 거짓 음성 (False Negatives) 문제를 해결하기 위한 새로운 패러다임을 제시합니다.

휴리스틱의 탈피: 고정된 임계값이나 외부 모델에 의존하는 기존 방식의 한계를 극복하고, 학습 과정 자체에서 최적의 네거티브 샘플링 전략을 학습합니다.
표현 공간의 질 향상: 잘못된 신호 (거짓 음성) 로 인한 표현 공간의 왜곡을 방지하면서도, 학습을 촉진하는 유익한 하드 네거티브를 적재적소에 배치하여 모델의 일반화 능력을 극대화합니다.
미래 방향: 본 연구는 크로스모달 정렬을 위한 보조 신호 (Proxy) 로 시각 및 텍스트 인코더의 정보를 모두 통합하는 방향으로 발전할 필요가 있음을 시사하며, 차세대 대규모 시각 - 언어 모델 (LVLM) 의 백본 학습에 중요한 기여를 할 것으로 기대됩니다.

요약하자면, FALCON 은 **"어떤 네거티브를 얼마나 어렵게 선택할지"**를 고정된 규칙이 아닌 학습된 스케줄러를 통해 동적으로 결정함으로써, VLP 의 성능 한계를 한 단계 끌어올린 혁신적인 방법론입니다.