🤖 AI

Adversarially Robust Abductive Fusion of Pre-trained Transformer-based Perception Models

본 논문은 레이블 벡터 풀(Label Vector Pools)과 일관성 기반 어브덕션(consistency-based abduction)을 활용하여 사전 학습된 ViT 검출기들을 강건하게 결합함으로써, 분포 변화와 협동적 적대 공격 모두에서 다수결 투표 베이스라인보다 우수한 성능을 달성하는 도메인 지식 불필요한 뉴로심볼릭 융합 프레임워크를 제안한다.

원저자: Mario Leiva, Yue Ma, Qinru Qiu, Gerardo Simari, Paulo Shakarian

게시일 2026-08-06

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Mario Leiva, Yue Ma, Qinru Qiu, Gerardo Simari, Paulo Shakarian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 폭풍우가 치는 외계 은하를 항해하는 우주선의 선장이라고 상상해 보십시오. 당신에게는 바위, 우주선, 또는 우주 정거장 같은 특정 지형을 포착하도록 훈련된 6명의 전문가 센서 팀이 있습니다. 하지만 문제가 하나 있습니다. 당신의 센서들은 모두 평온하고 화창한 태양계에서 훈련되었습니다. 그런데 지금 당신은 기묘한 안개, 소용돌이치는 먼지, 이상한 조명으로 가득 찬 혼란스러운 성운 속을 비행하고 있습니다. 센서들이 혼란에 빠진 것입니다. 그들은 서로 상충하는 보고를 하며 소리치기 시작합니다. "저건 바위야!" "아니, 저건 우주선이야!" "사실, 저건 거대한 우주 곰이야!"

이것이 바로 과학자들이 직면한 현실 세계의 문제, 즉 **인공지능(AI)**의 문제입니다. 우리는 자동차나 사람 같은 사물을 사진에서 식별할 수 있는 매우 똑똑한 컴퓨터 프로그램(이를 "인지 모델"이라 부릅니다)을 만들어 왔습니다. 하지만 이 프로그램들은 앞서 말한 우리의 우주 센서와 같습니다. 이들은 이전에 보았던 것에는 전문가이지만, 세상이 변하면 쉽게 혼란에 빠집니다. 만약 캘리포니아의 화창한 도로에서 훈련된 자율주행 자동차를 미네소타의 눈보라 속으로 몰고 간다면, 자동차는 눈송이를 보행자로 착각하거나 작동을 완전히 멈춰버릴 수도 있습니다 있습니다.

이를 해결하기 위해 엔지니어들은 보통 여러 AI 모델이 하나의 위원회처럼 함께 작동하도록 만듭니다. 위원회의 결정을 내리는 가장 흔한 방법은 **다수결 투표(Majority Voting)**입니다. 만약 6개 모델 중 3개가 "자동차다"라고 말한다면, 시스템은 그것을 자동차라고 결정합니다. 공평하게 들리나요? 하지만 여기 큰 결함이 있습니다. 만약 교활한 해커(또는 정말 심한 폭풍)가 몇몇 모델을 속여서 잘못된 답에 동의하게 만든다면, 위원회 전체가 속아 넘어가게 됩니다. 이는 마치 단체 채팅방의 친구 세 명이 당신을 골탕 먹이려고 하늘이 초록색이라고 결정했을 때, 당신이 다수결을 따름으로써 결국 하늘이 초록색이라고 믿게 되는 것과 같습니다.

이 논문은 그 위원회를 운영하는 더 똑똑한 방법을 소개합니다. 단순히 표를 세는 대신, 이 새로운 시스템은 **논리적 일관성(Logical Consistency)**을 확인하는 탐정처럼 행동합니다. 이 시스템은 "이 이야기가 말이 되는가?"라고 묻습니다. 만약 한 모델은 "자동차다"라고 하고 다른 모델은 "구름이다"라고 한다면, 시스템은 단순히 머릿수를 세는 것이 아니라, 어떤 이야기가 모순 없이 성립하는지 증거를 살펴봅니다. 저자들은 이 방법이 속임수에 훨씬 강하며, 환경이 완전히 바뀌었을 때 더 잘 작동한다는 것을 보여줍니다.

탐정의 새로운 도구 상자: 참조 가이드 없는 학습

연구자인 마리오 레이바(Mario Leiva)와 그의 팀은 두 가지 큰 문제를 해결하고자 했습니다. 첫째, 기존 방식들은 오류를 찾아내기 위해 인간의 지식이 담긴 "참조 가이드"가 필요했습니다. 예를 들어, 인간은 컴퓨터에게 "보행자는 보통 인도 위에 있지, 하늘에 있지 않다"라거나 "자동차는 이것보다 크다"라고 알려줄 수 있습니다. 하지만 만약 당신이 규칙을 알 수 없는 완전히 새로운 환경에 있다면 어떻게 될까요? 가본 적도 없는 곳을 위한 참조 가이드를 작성할 수는 없습니다.

둘째, 그들은 "다수결 투표"가 쉽게 해킹되는 것을 막고 싶었습니다.

해결책: "레이블 벡터 풀(Label Vector Pool)"
첫 번째 문제를 해결하기 위해, 팀은 AI가 인간의 도움 없이 스스로 자신의 참조 가이드를 학습할 수 있는 방법을 발명했습니다. 그들은 각 AI 모델의 "기억"을 이용한 영리한 트릭을 사용했습니다.

각 AI 모델은 자신이 훈련 중에 보았던 모든 객체의 정신적 도서관을 가지고 있다고 상상해 보십시오. 모델이 "자동차"를 볼 때, 단순히 "자동차"라는 단어만 저장하는 것이 아니라, 그 자동차가 어떻게 생겼는지에 대한 고유한 수학적 지문(임베딩)을 저장합니다. 연구진은 각 유형의 객체에 대한 이러한 지문들을 모두 모아 **레이블 벡터 풀(Label Vector Pools)**이라는 작은 클러스터로 그룹화했습니다.

이것은 객체를 위한 "무드 링(Mood Ring)"과 같습니다. 만약 모델이 새로운 객체를 발견하면, 시스템은 다음과 같이 확인합니다. "이 객체의 지문이 '자동차' 무드 링과 닮았는가, 아니면 '나무' 무드 링과 닮았는가?" 만약 어떤 객체가 자동차여야 하는데 그 지문이 너무 동떨어져 있다면(예: 구름처럼 보이는 자동차), 시스템은 이를 의심스러운 것으로 분류합니다. 이 과정은 인간이 정한 인도나 크기에 대한 규칙 없이, 오직 모델 내부의 수학만을 사용하여 자동으로 이루어집니다.

해결책: "일관성 탐정(Consistency Detective)"
시스템이 어떤 예측이 의심스러운지 알게 된 후, 시스템은 단순히 그것들을 버리지 않습니다. 대신, **귀추적 추론(Abductive Reasoning)**이라는 방법을 사용합니다. 이것은 "최선의 설명을 향한 추론"이라는 멋진 표현의 다른 이름입니다.

당신이 여섯 명의 목격자를 데리고 미스터리를 풀려는 탐정이라고 상상해 보십시오.

다수결 투표는 단순히 "누가 가장 많은 사람과 동의하는가?"를 묻습니다. 만약 세 명의 목격자가 "집사가 범인이다"라고 말하면, 탐정은 집사를 체포합니다.
이 새로운 시스템은 "누구의 이야기가 다른 이들과 모순되지 않는가?"를 묻습니다.

만약 세 명의 목격자가 "집사가 범인이다"라고 말하지만, 한 명의 목격자가 "집사는 그 시간에 주방에 있었다"라고 말하고, 또 다른 목격자가 "집사는 무기에 알레르기가 있다"라고 말한다면, 시스템은 "집사가 범인이다"라는 이야기에 구멍이 있다는 것을 깨닫습니다. 시스템은 설령 소수파일지라도 서로 일관성을 유지하는 목격자들을 신뢰하기로 결정할 수 있습니다. 시스템은 모든 조각이 완벽하게 들어맞아야 하는 논리적인 퍼즐을 구축합니다. 만약 어떤 조각(예측)이 전체 그림을 무너뜨린다면, 설령 많은 사람이 그 조각을 선택했더라도 그것은 거부됩니다.

대규모 테스트: 폭풍과 교활한 해커들

연구팀은 15가지의 다양한 기상 조건(폭우부터 먼지 폭풍까지) 하에서의 도시 항공 이미지라는 까다로운 과제로 이 아이디어를 테스트했습니다. 그들은 각각 한 가지 유형의 날씨에 대해서만 훈련된 6개의 서로 다른 AI 모델을 사용했습니다. 이 모델들을 모두 섞어 놓았을 때, 날씨는 엉망진창이 되었습니다.

깨끗한 데이터 결과
먼저, 그들은 해킹되지 않은 정상적인 조건에서 시스템을 테스트했습니다. 그 결과, 새로운 "일관성 탐정"이 최고의 "다수결 투표" 팀만큼 성능이 좋다는 것을 발견했습니다. 정확도를 잃지 않았으며, 기존 방식만큼 자동차와 사람을 잘 찾아냈습니다.

공격 테스트
그다음, 그들은 악당들을 투입했습니다. 그들은 **조직적인 공격(Coordinated Attack)**을 시뮬레이션했습니다. 해커가 개별 AI 모델을 직접 파괴할 수는 없지만, 소수의 모델이 동시에 똑같이 틀린 답을 외치도록 유도하여 속이는 상황을 가정했습니다.

다수결 투표 팀: 해커가 객체의 90%에 대해 "뒤집힌(flipped)" 레이블(공격에 의해 강제된 잘못된 레이블)을 적용했을 때, 다수결 투표 시스템은 무너졌습니다. 다수결 시스템의 평균 정확도는 0.35로 떨어졌습니다. 해커들이 몇 개의 모델만 통제해도 여론을 바꿀 수 있었기 때문에 완전히 속아 넘어간 것입니다.
일관성 탐정: 새로운 시스템은 그리 크게 흔들리지 않았습니다. 동일한 90%의 공격 상황에서도, 이 시스템은 15개 테스트 세트 전체에서 평균 0.42의 정확도를 유지했습니다. 큰 차이가 없어 보일 수도 있지만, AI의 세계에서 이것은 기존 방식보다 22% 개선된 수치입니다.

이유는 무엇일까요? 해커들은 다수를 점유하려고 노력했지만, 일관성 탐정은 논리를 살펴보았습니다. 만약 해커들이 세 개의 모델에게 "이것은 구름이다"라고 강요했더라도, 나머지 세 개의 모델(그리고 시스템의 내부 논리)이 "그것은 말이 안 된다"라고 판단했다면, 탐정은 해커를 무시했습니다. 시스템은 숫자의 힘이 아니라, 말이 되는 이야기를 신뢰했습니다.

이것이 왜 중요한가

이 논문은 AI를 위한 안전망을 구축하기 위해 반드시 인간 전문가가 될 필요는 없다는 것을 보여줍니다. AI가 스스로 자신의 "지문" 규칙을 학습하게 하고, 그들이 하는 이야기가 논리적으로 일관되는지 확인함으로써, 다음과 같은 시스템을 구축할 수 있습니다:

이식성(Portable): 매뉴얼 없이도 새로운, 기이한 환경에서 작동합니다.
강인함(Tough): 투표를 조작하려는 해커들에게 쉽게 속지 않습니다.

연구진은 이 테스트를 표준 컴퓨터 서버에서 실행했으며, 시스템은 실용적으로 사용할 수 있을 만큼 빨랐습니다. "일관성 탐정"(특히 그들의 "IP+TB" 방식)은 단순한 투표 카운터보다 퍼즐을 푸는 데 시간이 조금 더 걸렸지만, 실시간으로 사용하기에 충분히 빨랐습니다.

결론적으로, 이 논문은 우리가 재난 지역, 외딴 행성, 혹은 공격받는 도시와 같이 미지의 세계로 AI를 보낼 때, 단순히 가장 큰 목소리에 귀를 기울여서는 안 된다는 것을 시사합니다. 우리는 가장 말이 되는 목소리에 귀를 기울여야 합니다.

기술 요약: 사전 학습된 트랜스포머 기반 인지 모델의 적대적 강건성을 갖춘 추론적 융합 (Abductive Fusion)

문제 정의

사전 학습된 인지 모델(특히 Vision Transformer)을 새로운 환경(예: 훈련 데이터가 없는 재난 지역이나 오지)에 배포할 경우, 분포 변화(distributional shifts)로 인해 정확도가 크게 저하됩니다. 여러 모델을 결합하는 것이 일반적인 전략이지만, 다수결 투표(majority voting, MV)와 같은 단순한 결합 방식은 취약합니다. 이러한 방식은 재현율(recall)을 정밀도(precision)와 맞교환하며, 소수의 모델을 조작하여 집단 투표 결과를 뒤바꾸려는 적대적 공격에 매우 취약합니다.

기존의 메타인지적 접근 방식은 오류를 탐지하기 위해 논리적 규칙을 학습함으로써 이를 완화하려고 시도합니다. 그러나 이러한 방법들은 수작업으로 작성된 도메인 지식(예: 객체 크기 사전 지식, 세그멘테이션 마스크)에 의존하며, 이는 진정으로 새로운 장면에는 전이되지 못합니다. 또한, 기존 연구들은 퍼셉션 모델들이 투표 기반 앙상블을 무력화하도록 설계된 적대적 섭동(adversarial perturbations)을 받는 시나리오를 충분히 다루지 못했습니다.

방법론

제안된 프레임워크는 불완전한 탐지기들의 융합을 테스트 타임에 해결되는 일관성 기반 추론(consistency-based abduction) 문제로 프레이밍함으로써 이러한 한계를 해결합니다. 시스템은 두 가지 별도의 단계로 작동합니다.

1. 오프라인 훈련: 도메인 지식 불필요 메타인지 계층

저자들은 수작업으로 제작된 도메인 서술어에 의존하는 대신, 각 사전 학습된 모델의 내부 임베딩만을 사용하여 오류 탐지 신호를 학습합니다.

라벨 벡터 풀 (Label Vector Pools, LVP): 각 모델 $f_i$ 와 클래스 $c$ 에 대해, 시스템은 모델의 훈련 탐지 임베딩을 클러스터링( $k$ -means, $k=3$ )하여 프로토타입 벡터 집합 $\{ \mu_{i,c}^1, \mu_{i,c}^2, \mu_{i,c}^3 \}$ 를 생성합니다.
오류 탐지기 (Error Detector): 새로운 탐지 건에 대해, 시스템은 임베딩 $e$ 를 모든 프로토타입에 대한 유클리드 거리를 계산하여 특징 벡터 $\phi(e)$ 를 형성합니다. (모델, 클래스) 쌍별로 훈련된 랜덤 포레스트 분류기는 이 거리들을 오류 확률 $s_{i,c}(e)$ 로 매핑합니다.
규칙 학습 (Rule Learning): 이 확률들은 임계값 $\epsilon$ 에 의해 제어되는 학습된 임계값 $\tau$ 를 통해 **오류 탐지 규칙 (Error Detection Rules, EDR)**으로 생성됩니다. 오류 확률이 학습된 임계값을 초과하면 규칙이 실행됩니다. 이 계층은 외부 장면 아티팩트(마스크, 사전 지식 등)를 필요로 하지 않으며, 어떠한 새로운 모델이나 장면에도 전이 가능합니다.

2. 온라인 추론: 일관성 기반 추론

테스트 타임에 $\eta$ 개의 모델이 새로운 장면을 인지합니다. 이들의 예측은 개별 모델의 EDR 프로그램과 결합되어 논리 프로그램 $\Pi$ 를 형성합니다.

논리적 정식화: 시스템은 커버리지(재현율)를 최대화하면서 논리적 불일치를 최소화하는 수용된 예측의 부분 집합 $H$ $H$ 를 찾습니다.
- 무결성 제약 조건 (Integrity Constraints): 사용되는 유일한 도메인 지식은 클래스 라벨의 상호 배타성(하나의 객체가 두 가지 다른 클래스를 가질 수 없음)입니다.
- 목적 함수: 불일치 횟수 $Inc(H) $(위반된 무결성 제약 조건의 정규화된 횟수)를$ \delta $이하로 제한하면서$ Pred(H)$(수용된 할당 횟수)를 최대화합니다.
솔버 (Solvers): 이 문제는 다음을 통해 해결됩니다:
- 정확한 정수 계획법 (Integer Program, IP): 최적화를 전역적으로 해결합니다.
- 휴리스틱 탐색 (Heuristic Search, HS): 커버리지 이득 대비 불일치 예산을 기준으로 가장 적절한 (모델, 클래스) 쌍을 반복적으로 선택하는 다항 시간 그리디 알고리즘입니다.
- 타이브레이커 (Tie-Breaker, TB): 모호한 라벨을 해결하기 위해 가장 높은 신뢰도를 가진 예측을 선택하는 선택적 단계입니다.

주요 기여

도메인 지식 불필요 메타인지: 본 논문은 오류 탐지 규칙이 외부의 도메인 지식 없이 오직 모델 자체의 훈련 임베딩의 기하학적 특성(LVP를 통해)만으로 학습될 수 있음을 입증합니다. 이는 시스템을 세그멘테이션 마스크나 크기 사전 지식이 없는 새로운 환경으로 이식 가능하게 만듭니다. LVP 기반 접근 방식은 도메인 지식을 사용하지 않고도 도메인 지식 베이스라인과 대등한 성능(F1 차이 0.002 이내)을 달s합니다.
협동 공격에 대한 강건성: 투표 계산(다수결 투표)에서 일관성 기반 수용으로 전환함으로써, 프레임워크는 협동 라벨 플립(coordinated label-flip) 공격에 본질적으로 더 강건합니다. 다수결 투표는 소수의 모델이 잘못된 라벨에 동의하도록 조작될 때 실패하는 반면, 추론적 접근 방식은 예측이 논리적 제약 및 다른 모델의 출력과 일치할 때만 수용합니다.
확장 가능한 추론적 융합: 저자들은 추론 문제를 해결하기 위한 정확한 IP 정식화와 확장 가능한 다항 시간 휴리스틱(HS)을 모두 제공하여, 일관성 기반 융합이 실제 탐지 시나리오에서 계산적으로 실행 가능하다는 것을 보여줍니다.

실험 결과

프레임워크는 15개의 날씨 변화된 테스트 세트와 6개의 ViT 기반 탐지기를 포함하는 MDS-A (Multiple Distribution Shift – Aerial) 데이터셋과 멀티모달 VisDrone-DroneVehicle (RGB + IR) 데이터셋에서 평가되었습니다.

클린 데이터 성능: 공격받지 않은 데이터에서, 제안된 방법들(IP+TB 및 HS+TB)은 가장 강력한 다수결 투표 베이스라인(MV-Plurality)과 통계적으로 대등한 성능을 보였으며, 투표 방식 없이도 유사한 F1 점수를 달성함과 동시에 단일 모델 베이스라인보다 우수한 성능을 보였습니다.
적대적 강건성: 협동 라벨 플립 공격(적대자가 일부 모델이 잘못된 라벨에 동의하도록 강제하는 상황) 하에서:
- 다수결 투표는 플립 비율( $p$ )이 증가함에 따라 크게 저하됩니다.
- 추론적 접근 방식은 완만하게 저하됩니다. 90%의 플립 비율에서, 제안된 방법은 평균 F1 0.42를 달성하였으며, 이는 MV-Plurality의 0.35와 비교했을 때 22%의 상대적 이득을 보여줍니다.
- 플립 비율이 0.4를 초과하면, 제안된 방법이 모든 테스트 세트에서 가장 높은 F1을 기록합니다.
실행 시간: HS 변형은 1.9~~19.7초 내에 시나리오를 처리하며, 객체당 솔브 시간은 1.4~~3.0ms로, 엄격한 레이턴시 예산에 적합합니다. 정확한 IP는 더 느리지만, 오프라인 또는 덜 실시간적인 애플리케이션에는 여전히 실용적입니다.

의의 및 주장

본 논문은 다중 모델 인지 시스템의 메타인지 계층이 외부 도메인 지식 없이 모델 자체의 훈련 임베딩의 기하학적 특성에만 의존하여 효과적으로 학습될 수 있다고 주장합니다. 모델 통합을 일관성 기반 추론 문제로 프레이밍함으로써, 저자들은 다음과 같은 결합 방식을 제시합니다:

클린 데이터에서의 경쟁력: 투표에 의존하지 않고도 표준 앙상블 방법과 대등한 성능을 보여줍니다.
적대적 협동에 대한 탄력성: 다수결 투표의 독립성 가정을 표적으로 하는 공격 하에서도 성능을 유지합니다.

저자들은 이 접근 방식이 도메인 지식(DK) 규칙을 재설계하지 않고도 동일한 추론 메커니즘을 도메인 간에 전이할 수 있게 해준다는 점을 강조합니다. LVP와 DK 규칙은 서로 다른 유형의 오류(임베딩 이상 vs 기하학적/맥락적 실수)를 포착하지만, 본 논문에서는 이 둘을 결합하는 것이 실험에서 유의미한 F1 향상을 가져오지는 않았다고 언급하며, 이는 향리 연구 과제로 남겨두었습니다.