기술 요약: 확산 기반 테스트 케이스 생성을 위한 하이퍼넷 적응(HyNeA)

1. 문제 정의

딥러닝(DL) 시스템의 배포가 증가함에 따라, 실제 시나리오에서의 신뢰성을 체계적으로 평가하는 것이 필수적이 되었습니다. 전통적인 그래디언트 기반 적대적 공격은 인지하기 어려운 미세한 섭동(perturbation)을 도입하지만, 이는 종종 실제적인 실패와는 거리가 멀며, 기능적 동작보다는 강건성(robustness)에만 집중하는 경향이 있습니다. 생성적 테스트 생성 방법론은 다양한 입력 변이를 합성함으로써 대안을 제시하지만, 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 제한된 범위: 많은 방식이 아키텍처상의 제약으로 인해 단순한 데이터셋이나 제한된 입력 도메인에 국한됩니다.
• 제어 가능성 부족: 확산 모델(Diffusion Models, DMs)은 고충실도(high-fidelity) 이미지 합성을 가능하게 하지만, 이를 대규모 테스팅에 적용하는 것은 높은 계산 비용과 제한된 제어 가능성으로 인해 어렵습니다.
• 정제된 데이터에 대한 의존성: 기존의 제어 가능한 확산 방식(예: ControlNet)은 입력과 제어 신호를 명시적으로 쌍으로 묶는 사전 정제된 컨디셔닝 데이터셋에 의존합니다. 이는 DL 테스팅의 주요 목표인, 학습 분포에 나타나지 않는 실패 모드에 대한 테스트 케이스를 생성하는 능력을 제한합니다.

2. 방법론: HyNeA

저자들은 HyNeA(HyperNet Adaptation)를 제안합니다. 이는 파인튜닝이나 정제된 컨디셔닝 데이터셋 없이도 확산 기반 생성에 대한 직접적이고 효율적인 제어를 가능하게 하는 데이터셋 프리(dataset-free) 생성형 테스팅 방법입니다.

핵심 아키텍처

HyNeA는 ControlNet의 아키텍처 원칙을 기반으로 구축되었으나, 제어 메커니즘을 근본적으로 역전시켰습니다:

• ControlNet (표준): 정제된 데이터셋($c \to X$)을 사용하여 컨디셔닝 입력($c$)으로부터 가이드된 출력($X$)으로의 전역적 매핑을 학습합니다.
• HyNeA (제안 방식): 원하는 실패를 유도하는 컨디셔닝 신호를 생성하기 위해 테스트 케이스별로 하이퍼넷(HyperNet)을 최적화합니다 ($X \to c$).

주요 구성 요소

1. 테스트 대상 시스템 (SUT): 평가 대상이 되는 DL 모델 (예: 분류기, 객체 탐지기).
2. 조작기 (Manipulator): 훈련 가능한 하이퍼넷(보조 네트워크)이 추가된 사전 학습된 잠재 확산 모델(Latent Diffusion Model, LDM). 기본 LDM 파라미터는 고정되며, 오직 하이퍼넷의 가중치만 업데이트됩니다.
3. 제어 프로젝터 ($\phi_c$): 임의의 SUT 출력(예: 분류 로짓, 탐지 점수)을 이미지 잠재 공간과 호환되는 공간적 제어 신호로 투영하는 훈련 가능한 함수입니다. 이를 통해 비공간적(non-spatial) SUT 예측이 확산 과정을 가이드할 수 있게 합니다.
4. 최적화 도구 (Optimizer): 각 특정 테스트 케이스 인스턴스에 대해 하이퍼넷 가중치를 적응시키기 위해 OneCycle 학습률 스케줄을 사용하는 AdamW를 사용합니다.
5. 목적 함수 (손실 함수): 학습 목표는 재구성(reconstruction) 기반이 아닌 행동 기반입니다. 다음을 결합합니다:
   • 시각적 충실도: 생성된 이미지가 원래 구조와 유사함을 보장하기 위한 프로베니우스 거리 손실($\omega_{dF}$).
   • 행동 조향 (Behavior Steering): SUT의 출력을 타겟 실패 상태로 유도하는 작업 특정 손실 (분류를 위한 Cross-Entropy, 속성을 위한 Binary Cross-Entropy, 객체 탐지를 위한 Mean-Reduced Cross-Entropy).

훈련 전략

데이터셋에 대해 재구성 오차를 최소화하는 표준 ControlNet 훈련과 달리, HyNeA는 최종 생성된 이미지로부터 확산 과정을 거쳐 하이퍼넷 가중치로 역전파(back-propagate)합니다. 이러한 인스턴스 단위의 적응은 소스-타겟 쌍의 필요성을 제거하여, 학습 데이터에 명시적인 예시가 존재하지 않더라도 실패를 유도하는 테스트 케이스를 생성할 수 있게 합니다.

3. 주요 기여

• 테스팅 방법론: 데이터셋 프리 방식의 제어 가능한 입력 생성을 가능하게 하는 새로운 접근법인 HyNeA를 도입했습니다. 이는 대규모 재학습이나 정제된 컨디셔닝 데이터셋을 요구하지 않습니다.
• 경험적 평가: 다중 비전 작업(다중 클래스 분류, 이진 속성 분류, 객체 탐지)에 걸친 포괄적인 연구를 통해, HyNeA가 기존 베이스라인보다 더 유익한 모델 실패를 드러내는 현실적이고 의미론적으로 일관된 테스트 케이스를 생성함을 입증했습니다.

4. 실험 결과

저자들은 HyNeA를 최신 베이스라인인 Mimicry(StyleGAN 기반 잠재 보간) 및 GIFTbench(확산 기반 잠재 섭동)와 비교 평가했습니다.

효과성 (RQ1)

• 실패 유도: HyNeA는 모든 작업(ImageNet, CelebA, Driving)에서 100% 오분류율을 달축하여, SUT의 실패를 성공적으로 유도했습니다.
• 제어 가능성: HyNeA는 ImageNet에서 **0.00의 탈출 비율(Escape Ratio)**을 보여주었습니다(이는 관련 없는 특징에는 영향을 주지 않고 목표된 실패가 유도되었음을 의미함). 이는 Mimicry의 0.52, GIFTbench의 0.84와 대조적입니다.
• 다양성: HyNeA는 베이스라인에 비해 더 높은 임베딩 다양성과 더 낮은 트레이스 차이(semantic shift)를 가진 테스트 케이스를 생성했습니다.

효율성 (RQ2)

• 계산 예산: HyNeA는 현저히 효율적이었습니다. SUT 평가 횟수가 훨씬 적었습니다. ImageNet의 경우, HyNeA는 약 25회의 평가를 사용한 반면, Mimicry는 약 2,500회, GIFTbench는 약 700회를 사용했습니다.
• 실행 시간: 작업마다 실제 실행 시간은 달랐으나, 평가 예산을 외삽했을 때 확산이 추가된 Mimicry는 HyNeA보다 5~10배 더 높은 실행 시간을 소요할 것으로 추정됩니다.

타당성 (RQ3)

• 현실성: 인간 평가자들은 HyNeA가 생성한 이미지가 베이스라인보다 최대 90% 더 현실적이라고 평가했습니다.
• 레이블 보존: HyNeA는 **78.7%**의 사례에서 원래의 클래스 레이블을 보존했습니다(Mimicry 28.7%, GIFTbench 46.3% 대비). 이는 유도된 실패가 입력의 의미론적 변화가 아닌 진정한 모델 오류임을 나타냅니다.
• 시각적 품질: HyNeA는 기존 방법론에 비해 40~100% 적은 시각적 저하(MS-SSIM 및 LPIPS로 측정)를 보였습니다.

민감도 (RQ4)

• 학습률의 영향을 분석했습니다. 작은 학습률은 품질을 개선하지 못한 채 실행 시간만 늘렸고, 큰 학습률은 실행 시간을 줄였지만 시각적 충실도를 저하시켰습니다. 현실성, 구조적 보존, 효율성의 균형을 맞추기 위한 특정 트레이드오프 스케줄이 식별되었습니다.

5. 의의 및 주장

본 논문은 기존의 생성 방법론들이 제어 가능성이 부족하거나 비현실적인 양의 정제된 데이터를 요구한다는 점에서, HyNeA가 딥러닝 테스팅의 결정적인 간극을 메운다고 주장합니다. ControlNet 패러다임을 역전시킨 HyNeA는 다음을 가능하게 합니다:

1. 데이터셋 프리 테스팅: 해당 실패를 명시적으로 포함하는 데이터셋 없이도 목표된 실패 케이스를 생성할 수 있습니다.
2. 미세 제어: 전체적인 장면의 의미론적 무결성을 유지하면서 특정 속성이나 동작(예: 특정 객체 탐지 억제)을 정밀하게 조작할 수 있습니다.
3. 확장성: 전통적인 프롬프트 기반 또는 잠재 섭동 방식이 일관성을 유지하기 어려운 자율 주행(객체 탐지)과 같은 복잡하고 고차원적인 도메인에 적용 가능합니다.

저자들은 HyNeA가 현실적인 테스트 케이스를 생성하여 예상치 못한 모델 동작을 드러냄으로써, 딥러닝 신뢰성의 체계적 평가를 발전시키는 실용적이고 효율적이며 효과적인 프레임워크를 제공한다고 결론짓습니다.