Forced Deferral: Manipulating Routing Decisions in Multimodal LLM Cascades

기술 요약: 멀티모달 LLM 캐스케이드에서의 강제 지연(Forced Deferral)

문제 정의
멀티모달 대규모 언어 모델(MLLM)은 강력한 시각적 추론 능력을 제공하지만, 모든 쿼리에 이를 배포할 경우 상당한 추론 비용이 발생합니다. 이를 완화하기 위해 최근 시스템들은 저렴하고 약한 모델($M_w$)이 먼저 쿼리를 처리하고, 불확실한 경우에만 더 강력하고 비싼 모델($M_s$)로 넘기는 **MLLM 캐스케이드(MLLM cascades)**를 채택합니다. 지연 결정(deferral decision)은 약한 모델의 출력에서 유도된 신뢰도 신호(예: 토큰 확률, 퍼플렉시티, 또는 일관성)에 의존합니다.

본 논문은 이 아키텍처의 치명적인 취약점을 식별합니다: 신뢰도 신호가 조작 가능한 '컴퓨팅 자원 할당 메커니즘'으로 작용한다는 점입니다. 기존의 적대적 공격이 정답의 정확도를 떨어뜨리거나 안전 정렬을 우회하는 것을 목표로 하는 것과 달리, 이 위협은 시스템의 효율성을 겨냥합니다. 공격자는 약한 모델의 신뢰도를 조작하여 불필요하게 강한 모델로의 지연을 강제할 수 있습니다. 이를 통해 공격자는 고품질의 응답을 얻는 동시에, 계산 비용을 서비스 제공자에게 전가함으로써 캐스케이드 추론의 경제적 이점을 무력화할 수 있습니다.

방법론: 강제 지연 공격 (Forced Deferral Attack, FDA)
저자들은 쿼리의 의미적 내용은 변경하지 않으면서 약한 모델의 신뢰도를 낮추도록 설계된 이미지 적대적 공격인 **강제 지연 공격(FDA)**을 제안합니다. 이 공격은 세 가지 주요 과제를 해결합니다:

1. 알려지지 않은 지표(Unknown Metrics): 공격자는 배포된 시스템에서 사용되는 구체적인 불확실성 지표(예: 정답 확률, 역 퍼플렉시티, 자카드 유사도)나 지연 임계값을 알지 못합니다.
2. 의미 보존(Semantic Preservation): 섭동(perturbation)은 시각적 내용을 저해해서는 안 됩니다. 그래형 모델이 여전히 쿼리에 올바르게 답할 수 있어야 하기 때문입니다.
3. 보편성(Universality): 공격은 쿼리마다 최적화되는 것이 아니라, 한 번 최적화되면 재사용 가능한 단일 트리거여야 합니다.

핵심 구성 요소:

• 지표 불가지론적 목적 함수(Metric-Agnostic Objective): 특정 신뢰도 점수에 대해 최적화하는 대신, FDA는 근본적인 토큰 분포를 타겟팅합니다. 공격은 온도 $T > 1$을 사용하여 약한 모델의 깨끗한 로짓(clean logits, $z_t$)으로부터 온도로 평활화된 타겟 분포($q^T_t$)를 구축합니다. 이는 분포를 평활화하여(집중도를 감소시킴) 깨끗한 응답의 상대적인 토큰 순위는 유지하면서도 분포를 넓힙니다.
• 교사 강제 최적화(Teacher-Forcing Optimization): 공격은 섭동된 입력에 대한 약한 모델의 분포와 평활화된 타겟 분포 사이의 KL 다이버전스(Kullback-Leibler divergence)를 최소화합니다. 이는 모델이 깨끗한 출력 궤적을 따라 더 낮은 확신을 가진 예측을 생성하도록 강제합니다.
• 보편적 경계 트리거(Universal Border Trigger): 의미를 보존하기 위해, 섭동은 이미지 주변의 **보편적 경계 영역(universal border region)**으로 제한됩니다. 중앙의 시각적 내용은 온전하게 유지되어, 강한 모델이 유효한 쿼리를 받을 수 있도록 합니다. 트리거는 이미지 경계에 적용되는 고정된 패턴으로 학습됩니다.

주요 기여

1. 위협 정식화: 본 논문은 "캐스케이드 지연 공격"을 새로운 효율성 중심의 위협으로 식별하고 정식화했습니다. 이는 적대적 초점을 예측 정확도에서 컴퓨팅 자원 할당의 조작으로 전환합니다.
2. 새로운 공격 메커니즘: 저자들은 온도 평활화된 교사 강제 목적 함수를 통해 최적화된, 답변 불가지론적 보편 경계 트리거를 제안합니다. 이를 통해 지표에 관계없이 지연을 조작할 수 있으면서도, 트리거된 입력에 대한 강한 모델의 성능을 유지할 수 있습니다.
3. 실증적 검증: 연구는 FDA가 여러 데이터셋(MMBench, ScienceQA, MMMU), 모델 제품군(Gemma4, Qwen3-VL), 그리고 지연 지표에 대해 효과적이고 전이 가능하며 견고함을 입증합니다.

실험 결과
평가는 일반적인 이미지 섭동(디포커스 블러) 및 프롬프트 인젝션을 포함한 베이스라인과 FDA를 비교합니다.

• 재라우팅 비율(Reroute Rate): FDA는 쿼리가 강한 모델로 라우팅되는 비율을 크게 높입니다. 다양한 데이터셋과 모델 쌍에 걸쳐, FDA는 베이스라인보다 일관되적으로 우수한 성능을 보이며, 낮은 보정된 지연율에서도 실제 재라우팅 비율을 1.0에 가깝게 밀어 올립니다.
• 신뢰도 감소: 이 공격은 입력의 의미를 바꾸지 않고도 약한 모델의 신뢰도 점수를 급격히 낮춥니다(예: 일부 사례에서 정답 확률을 ~0.94에서 ~0.03으로 감소시킴).
• 시스템 정확도: 결정적으로, 증가된 라우팅은 최종 시스템 정확도를 저하시키지 않습니다. 강한 모델이 원래의 의미적 내용(경계 부분만 섭동됨)을 전달받기 때문에, 높은 품질의 응답을 계속 제공할 수 있습니다.
• 전이성(Transferability): 공격은 서로 다른 모델 제품군과 불확실성 지표 간에 효과적으로 전이되며, 이는 공격이 특정 구현 세부 사항이 아닌 신뢰 메커니즘의 근본적인 특성을 타겟팅하고 있음을 확인시켜 줍니다.

의의 및 주장
본 논문은 MLLM 캐스케이드가 효율적이지만, 지연 결정 자체가 취약해질 수 있는 새로운 공격 표면을 노출한다고 주장합니다. 이 연구의 의의는 공격자가 모델의 안전성이나 정답의 정확성을 훼손할 필요 없이, 시스템의 자원 할당을 조작하여 값비싼 추론을 강제할 수 있음을 보여준 데 있습니다. 이는 기존 연구들이 양호한 조건에서의 비용-품질 트레이드오프나 출력 수준의 오류에 대한 견고성에 집중해 온 반면, 신뢰 기반 라우팅 메커니즘의 견고성은 거의 간과해 왔음을 시사합니다. 본 연구는 현재의 지연 전략이 공격자가 컴퓨팅 자원 할당 신호를 악용하는 것을 방지하기에는 불충분하다는 점을 시사합니다.