기술 요약: 규칙 위반이 드문 경우: 논리적 이상 탐지를 위한 키메라 학습

문제 정의

본 논문은 논리적 이상 탐지를 다룬다. 여기서 이상은 단순히 통계적 이상치나 분포 외 (OOD) 샘플이 아니라, 알려진 의미적 제약 조건을 위반하는 입력으로 정의된다. 이러한 제약 조건에는 구조화된 객체 공발생, 행동 전제 조건, 그리고 시간적 또는 관계적 규칙성이 포함된다.

이 분야의 핵심적인 도전 과제는 실제 세계의 규칙 위반이 훈련 중에 드물거나 아예 존재하지 않는다는 점이다. 표준 지도 이진 분류는 본질적으로 희소한 이상 샘플에 대한 접근을 필요로 한다. 또한, 기존 방법들은 상충 관계에 직면해 있다: 완전 기호적 파이프라인은 취약한 지각 출력에 의존하는 반면, 완전 신경망 파이프라인은 종종 제약 조건을 암묵적으로 재학습하여 우연한 시각적 단서와 얽히게 되고 해석 가능한 규칙 수준의 귀인을 제공하지 못한다. 저자들은 이상에 대한 명시적 예시 없이 규칙과 일관된 훈련 데이터 (즉, "정상" 데이터) 만을 사용하여 규칙 위반을 탐지하는 방법을 개발하는 것을 목표로 한다.

방법론

제안된 프레임워크인 Neural Evaluator는 논리적 제약 조건을 명시적인 유방향 비순환 그래프 (DAG) 로 컴파일하고 이를 평가하기 위해 재사용 가능한 신경 연산자를 학습하는 신경 - 기호적 접근법이다.

1. 아키텍처 및 훈련 파이프라인

본 방법은 4 단계로 작동한다 (그림 1 참조):

• 1 단계 (리프 개념 은행): 공유 인코더 $E_\phi$가 입력 이미지에서 특징 $z$를 추출한다. 일련의 "리프" 헤드가 사전 정의된 의미 개념 (예: 객체 존재, 관계) 에 대한 확률을 예측한다.
• 2 단계 (서브트리 게이트 학습): 각 논리 규칙은 리프가 개념 ID 이고 내부 노드가 논리 연산자 (AND, OR, IMPLIES, IFF) 인 DAG 로 표현된다. 시스템은 각 내부 노드에 대해 서브트리 게이트 $g_{\theta_v}$를 학습한다. 이러한 게이트는 자식 특징과 엣지 수준의 부정 플래그를 부모 특징 표현 및 규칙 만족 확률로 매핑한다.
• 3 단계 (레벨별 훈련): 훈련은 깊이별로 하향식 (bottom-up) 으로 진행된다. 낮은 깊이의 게이트는 고정되고, 현재 깊이의 게이트는 노드별 이진 교차 엔트로피를 사용하여 훈련된다. 핵심적으로, 내부 노드에 대한 실제 값 (ground-truth) 목표는 하드 개념 레이블로부터 정확한 부울 전파를 통해 유도되어, 루트뿐만 아니라 그래프의 모든 노드에 대한 중간 감독을 제공한다.
• 4 단계 (추론): 새로운 이미지의 경우, 고정된 게이트가 특징을 DAG 를 따라 상향 전파하여 루트 만족 확률을 계산한다. 이상 점수는 $1 - \hat{t}_{root}$로 정의된다.

2. 키메라 부정 학습

실제 위반의 희소성을 해결하는 핵심 혁신은 키메라 학습이다.

• 문제: 동일한 이미지의 정상 데이터로 훈련하는 것은 종종 "단순화 학습 (shortcut learning)"으로 이어진다. 즉, 게이트가 논리 연산자를 구성하는 대신 규칙의 전역적 시각적 템플릿을 인식하도록 학습한다. 또한, 함축 $A \Rightarrow B$에 대한 $A=1, B=0$과 같은 정보력 있는 반례가 훈련 분포에서 누락될 수 있다.
• 해결책: 원시 픽셀을 혼합하는 것 (Mixup 등) 대신, 이 방법은 특징 수준에서 반사실적 피연산자를 구성한다. 자식 $\ell$과 $r$을 가진 이진 노드의 경우, 샘플 $i$에 대한 훈련 입력은 샘플 $i$의 왼쪽 자식 특징과 다른 샘플 $\pi(i)$ (여기서 $\pi$는 순열) 의 오른쪽 자식 특징을 연결하여 형성된다.
• 목표 생성: 이 "키메라" 입력에 대한 목표 레이블은 해당 샘플들의 하드 진실 레이블 ($t_\ell(y_i)$ 및 $t_r(y_{\pi(i)})$) 에 논리 연산을 적용하여 계산된다.
• 효과: 이는 게이트가 시각적 상관 관계를 암기하는 대신 특징 간의 논리적 관계를 학습하도록 하여 구성적 연산자처럼 행동하게 만든다. 이는 자연 데이터에서 특정 규칙 결과가 부재하더라도 지도식 논리적 반례를 제공한다.

3. 계보 인식 캐싱

많은 규칙으로 확장하기 위해 시스템은 캐싱 메커니즘을 사용한다. 캐시 키는 기호 서브트리 구조, 엣지 부정, 게이트 아키텍처, 특징 차원, 그리고 상류 인코더의 지문 (fingerprint) 을 기반으로 생성된다. 이는 특징 표현과 논리적 구조가 일치하는 한, 학습된 서브트리를 다른 규칙과 실행 간에 안전하게 재사용할 수 있게 한다.

주요 기여

1. 서브트리 게이트: 하드 부울 감독 하에 개념 조건부 특징을 진리 확률로 구성하는 하향식, 노드 로컬 학습 메커니즘으로, 학습된 논리 연산자의 재사용을 가능하게 한다.
2. 키메라 부정 학습: 서로 다른 샘플의 서브트리 피연산자를 혼합하여 연산자 수준의 구성성을 강제하고 단순화 학습을 방지하는 새로운 훈련 전략이다. 이를 통해 모델은 훈련 데이터에서 실제 반사실적 (위반) 이 완전히 부재한 상황에서도 효과적으로 작동할 수 있다.
3. 실증적 검증: 구조화된 이미지/비디오 벤치마크 (CLEVRER, OpenImages, VidOR) 및 실제 세계 데이터에서 방법의 효과성을 입증하여, 독립 사건 베이스라인 및 동일 이미지 의미 훈련보다 상당한 개선을 보였다.

결과

저자들은 Neural Evaluator 를 세 가지 베이스라인과 비교 평가했다:

• INDEPPROB: 독립 사건 확률적 평가자 (기호적 베이스라인).
• SEM (의미 손실): 키메라 혼합이 없는 동일 이미지 의미 훈련 베이스라인.
• Mono-N/Mono-C: 단일 루트 전용 베이스라인 (정상 데이터만 또는 키메라 데이터로 훈련).

주요 발견:

• 성능 향상: Neural Evaluator 는 규칙 수준 이상 AUROC 에서 일관되게 독립 사건 베이스라인을 능가했다. CLEVRER (+0.083), OpenImages (+0.078), VidOR (+0.234) 에서 두드러진 향상이 관찰되었다.
• 키메라 학습의 필요성: SEM 베이스라인 (동일 이미지 훈련만) 은 복잡한 데이터셋에서 붕괴되어 AUROC $\approx 0.5$(무작위 추측) 를 기록했다. 이는 명시적 반사실 감독 없이는 일반 정상 데이터가 비자명한 이상 신호를 학습하기에 충분한 정보력 있는 위반 진리 구성을 충분히 포괄하지 못함을 확인시켜 준다.
• 구성적 규칙: 이 방법은 고정된 확률 가정 (예: 사건 독립성) 이 실패하는 구성적 및 관계적 규칙 (예: CLEVRER 의 함축 연쇄, VidOR 의 객체 - 관계 규칙) 에서 특히 강력한 성능을 보였다.
• 절차 제거 (Ablation) 통찰: 단일 키메라 훈련 베이스라인은 전체 모듈식 모델과 유사한 성능을 보였으나, 모듈식 접근법은 상당한 성능 손실 없이 규칙 평가의 더 해석 가능하고 재사용 가능한 분해를 제공한다.

중요성 및 주장

본 논문은 많은 실용적 이상은 픽셀 공간에서의 단순한 희소성이 아니라 도메인 제약 조건의 위반으로 특징지어진다고 주장한다. 제약 조건을 명시적 DAG 로 컴파일하고 키메라 기반 감독으로 훈련함으로써, 탐지기는 스칼라 이상 점수뿐만 아니라 어떤 제약 조건이 위반되었는지를 설명하는 구조화된 규칙 수준 귀인을 제공한다.

저자들은 이 접근법이 훈련 데이터셋이 규칙과 일관된 샘플만 포함하더라도 규칙 위반 탐지를 가능하게 한다고 강조한다. 이는 희소한 이상 샘플에 대한 접근이 필요한 완전 지도 이진 분류와 구별되는 특징이다. 이 방법은 명시적 제약 조건 (기호적 추론) 과 견고한 특징 추출 (신경 지각) 간의 간극을 메워, 실제 이상 (ground-truth anomalies) 이 불가능한 시나리오에서 논리적 이상 탐지를 위한 확장 가능한 솔루션을 제공한다.

논문은 한계에 대해 겸손하게 서술하며, 이 방법이 리프 개념 은행의 오류, 데이터셋 주석의 편향, 그리고 채굴된 규칙의 잠재적 우연 상관 관계를 계승한다고 지적한다. 또한, 높은 이상 점수는 일반적인 목적의 안전 판단이 아니라 선택된 규칙 집합에 대한 의미적 불일치를 나타낸다고 주장한다.