기술 요약: 실패는 운명적이지만, 희미하게 만들 수는 있다 (Failures Are Fated, But Can Be Faded)

1. 문제 정의

시각 및 언어 작업 전반에서 대규모 딥 뉴럴 네트워크(DNN)가 보여주는 인상적인 성능에도 불구하고, 이러한 모델들은 필연적으로 정확도, 사회적 편향, 그리고 인간의 가치와의 불일치와 관련된 실패를 나타낸다. 가정이 명시적인 화이트박스 모델링과 달리, DNN 실패에 기여하는 요인들은 종종 사전에 알 수 없으며, 다양하고 예측 불가능한 실제 환경에 배포될 때 비로소 드러난다.

핵심 과제는 모델 실패를 유발할 수 있는 모든 가능한 요소들의 조합(연속적, 이산적 또는 혼합형)을 철저히 테스트하는 것이 불가능하다는 점에 있다. 실패 지형은 확률적이다. 모델은 한 사례에서는 실패할 수 있지만, 겉보기에 유사한 다른 사례에서는 적절하게 수행될 수도 있다. 현재의 이해관계자들—모델을 디버깅해야 하는 엔지니어와 감사 능력을 요구하는 입법 기관—은 이 거대하고 복잡한 실패 모드 지형을 자동으로 탐색할 수 있는 효율적인 도구가 부족한 실정이다.

2. 방법론

본 논문은 사전 학습된 판별 모델 및 생성 모델의 실패 지형을 특징짓고, 요약하며, 완화하기 위해 **심층 강화 학습(Deep Reinforcement Learning, Deep RL)**을 활용하는 사후(post-hoc) 프레임워크를 제안한다. 방법론은 다음과 같은 세 가지 주요 단계로 구성된다.

A. 실패 발견 (Deep RL 정식화)

저자들은 실패 모드의 탐색을 마르코프 결정 과정(MDP) $(S, A, P, R, \gamma)$로 프레임화한다.

• 상태 (State, $S$): 현재 입력(예: 이미지 또는 텍스트 프롬프트) 또는 특정 개념의 조합을 나타낸다.
• 행동 (Action, $A$): 입력 개념의 수정(예: 회전, 채도 변경, 동사 시제 변경, 또는 직업/성별 용어 교체).
• 보상 (Reward, $R$): 실패 발견을 장려하도록 설계된 스코어링 함수. 모델의 출력과 인간의 기대치(그라운드 트루스 또는 인간 평가) 사이의 차이($\Delta$)가 임계값 $\epsilon$을 초과할 때 더 높은 보상을 부여한다.
• 알고리즘: 거대한 상태 및 행동 공간으로 인해, 저자들은 **심층 Q-네트워크(Deep Q-Networks, DQN)**를 사용한다. 에이전트는 누적 보상을 최대화하는 행동을 선택하는 확률적 정책 $\pi$를 학습하며, 효과적으로 모델이 실패하는 영역을 향해 항해한다.

서로 다른 입도(granularity)를 다루기 위해 두 가지 탐색 전략이 도입된다:

1. 거시적 탐색 (Macroscopic Exploration): 산발적이고 대규모인 행동을 취하여 개념 공간 전체에 흩어진 실패 영역을 넓게 포착한다.
2. 미시적 탐색 (Microscopic Exploration): 점진적이고 고정된 크기의 행동을 취하여 특정 이웃 영역을 정밀하게 조사하고, 실패를 유발하는 미세한 차이와 정확한 행동 조합을 식별한다.

B. 인간 선호도 통합 (요약)

발견된 실패가 실제 응용 분야와 관련성을 갖도록 하기 위해, 본 프레임워크는 제한된 인간 피드백을 포함한다.

• 질적 요약: 행동의 Q-값을 확률로 변환하여 실패 지형을 3D로 시각화한다. 지점들은 평균 확률(실패 가능성)에 따라 색상이 지정되고, 신뢰도(역 표준 편차)에 따라 크기가 지정된다. 사용자는 이 시각화 도구와 상호작용하여 관심 있는 특정 실패 모드를 선택할 수 있다.
• 양적 요약: 3D 시각화가 불충분한 고차원 공간을 위해, 저자들은 **바세르슈타인 바리센터(Wasserstein barycenters)**를 활용하여 차원을 축소(marginalize)하고 실패 분포의 단면 뷰를 제공한다.

C. 실패 완화 (재구조화)

바람직하지 않은 실패 모드가 식별되면, 프레막워크는 실패 지형을 재구조화하여 모델을 해당 모드로부터 멀어지게 하는 **미세 조정(fine-tuning)**을 제안한다.

• 이미지 분류: 기존 성능을 유지하면서 특정 실패를 줄이기 위해, 낮은 학습률을 가진 SGD를 사용하여 사전 학습된 모델(AlexNet, ResNet, EfficientNet)의 최종 레이어를 미세 조정한다.
• 텍스트 요약: 특정 실패 행동(예: 무작위 단어 제거)을 해결하도록 수정된 데이터셋을 사용하여 BART 및 T5 모델을 미세 조정한다.
• 이미지 생성: **저차원 적응(Low-Rank Adaptation, LoRA)**을 사용하여 Stable Diffusion v1-4를 미세 조정한다. 편향되지 않은 고품질 이미지 데이터셋(예: 균형 잡힌 성별 용어를 사용한 DALL·E 3 생성 이미지)을 사용하여 LoRA 행렬을 학습시킴으로써, 모델이 이전 가중치를 유지하면서 새로운 지식에 적응할 수 있도록 한다.

3. 주요 기여

1. Deep RL 기반 특성화: 거시적 및 미시적 전략을 사용하여 대규모 사전 학습된 DNN의 실패 지형을 탐색하기 위해 맞춤 설계된 새로운 알고리즘 세트.
2. Human-in-the-Loop 프레임워크: 전체 반복적 RLHF의 오버헤드 없이도 인간이 타겟팅된 피드백을 제공할 수 있도록 하는 질적(3D 시각화) 및 양적(Wasserstein barycenter) 표현 방법.
3. 미세 조정을 통한 완화: 발견된 실패가 미세 조정 과정을 가이드하여, 컴퓨터 비전, 자연어 처리(NLP), 시각-언어 작업 전반에서 특정 실패 모드의 빈도를 효과적으로 줄일 수 있음을 입증함.

4. 실험 결과

제안된 방법은 세 가지 별개의 작업에 대해 평가되었다:

• 이미지 분류: ImageNet 데이터셋에 대해 AlexNet, ResNet50, EfficientNetV2에 적용되었다. DQN 방식은 임계값 기반 방식(AlexNet의 경우 44개)보다 훨씬 더 많은 실패(AlexNet의 경우 499개)를 발견했으며, 더 낮은 엔트로피를 보여 발견의 확실성이 높음을 나타냈다. 미세 조정은 식별된 실패 행동의 빈도를 감소시켰다.
• 텍스트 요약: BART 및 T5 모델에 적용되었다. 이 방법은 실패 분포를 성공적으로 이동시켰다. 예를 들어, BART의 실패 모드는 미세 조정 후 "무작위 단어 삭제"에서 "무작위 단어 반복"으로 이동했으며, 이와 함께 보상 점수가 크게 하락하였다(BLEU 점수의 개선을 의미).
• 이미지 생성 (편향 완화): Stable Diffusion v1-4에 적용되었다. RL 에이전트는 "과학자" 또는 "예술가"라는 프롬프트가 주로 남성 이미지를 생성하는 편향을 식별했다. LoRA를 이용한 미세 조정은 남성 대 여성 비율의 편향을 1.65에서 1.16으로 줄였고 전반적인 이미지 품질을 개선했다.

무작위 탐색(random search), 그리디 탐색(greedy search), 그리고 적대적 방법(FGSM)과의 비교 결과, DQN 접근 방식이 더 낮은 엔트로피와 함께 더 높은 수의 실패를 찾아냈다. 결정 경계(decision boundaries)에 집중하는 적대적 학습과 달리, 이 방법은 개념 공간의 더 넓은 영역에 존재하는 지속적인 취약성을 드러냈다.

5. 의의 및 주장

본 논문은 딥러닝의 실패는 피할 수 없지만("fated"), 이를 체계적으로 식별하고 완화할 수 있다("faded")고 주장한다. 이 연구의 의의는 이해관계자들이 다음을 수행할 수 있는 효율적이고 자동화된 도구를 제공한다는 데 있다:

• 엔지니어: 성능을 저하시키는 특정 요인들의 조합을 이해함으로써 모델을 디버깅할 수 있다.
• 감사관/입법가: 실패 모드와 그 확률에 대한 해석 가능한 지도를 통해 모델을 인증할 수 있다.

저자들은 자신들의 접근 방식이 모든 가능한 입력을 전수 조사할 필요가 없음을 강조한다. 대신, 데이터 공간의 문제를 실행 가능한 개념 공간으로 투영함으로써, 이 방법은 실패 지형을 탐색, 요약 및 재구조화하는 확장 가능한 방법을 제공하여 딥러닝 모델이 배포 전 더욱 견고해지고 인간의 가치와 일치하도록 만든다.