기술 요약: 생성형 AI 시스템 행동에 대한 프롬프트-대조적 설명 (Prompt-Counterfactual Explanations)

문제 정의

생성형 AI 시스템, 특히 대규모 언어 모델(LLM)이 고위험 실세계 애플리케이션에 통합됨에 따라, 이러한 시스템이 무엇을 생성하는가뿐만 아니라 '왜' 그러한 결과가 나오는지 이해하는 것이 매우 중요해졌습니다. 전통적인 설명 가능한 AI(XAI) 기법, 특히 대조적 설명(Counterfactual Explanations, CFEs)은 이산적이고 결정론적인 결정을 생성하는 예측 시스템을 위해 설계되었습니다. 그러나 이를 생성형 AI에 직접 적용하는 것은 다음과 같은 네 가지 근본적인 도전 과제로 인해 불가능합니다:

1. 출력의 복잡성: 생성형 출력은 (예: 전체 문서와 같이) 복잡하고 비구조적이며 고차원적인 반면, 전통적인 분류기는 저차원의 이산적인 출력을 가집니다.
2. 입력 구조: 표준 CFE 방법은 종종 입력을 순서가 없는 특징 집합(예: bag-of-words)으로 취급하여, LLM에 결정적인 순차적 및 언어적 구조를 무시합니다.
3. 교체 전략: 효과적인 "대조적 사례"를 정의하려면 맥락에 따라 달라지는 유연한 입력 "조각" 수정 전략(예: 마스킹, 유의어 교체)이 필요합니다.
4. 비결정성: 생성형 AI는 확률적입니다. 동일한 프롬프트라도 다른 출력을 낼 수 있습니다. 전통적인 CFE는 입력과 출력 사이의 결정론적 매핑을 가정하므로, 확률적 프레임워크 없이는 "어떤 변화가 출력을 바꾸는가?"라는 질문 자체가 정의되기 어렵습니다.

본 논문은 특정 하위 클래스의 생성형 AI 행동에 초점을 맞춥니다: 즉, **다운스트림 분류기(downstream classifier)**에 의해 드러나는 특정 특성(예: 독성, 정치적 편향, 부정적 감정)의 보유 여부입니다. 목표는 입력 프롬프트의 특성을 변화시키는 최소한의 변경 사항을 식별하는 것입니다.

방법론: PCE 프레임워크

저자들은 비결정적 생성 시스템에 CFE를 적응시킨 프롬프트-대조적 설명(Prompt-Counterfactual Explanations, PCE) 프레임워크를 제안합니다.

핵심 개념

이 프레임워크는 생성형 AI 시스템과 다운스트림 분류기를 하나의 파이프라인으로 취급합니다. PCE는 사용자가 정의한 임계값 미만으로 다운스트림 분류기의 집계 점수를 떨어뜨리는 입력 요소(단어, 구절 또는 문장)의 최소 집합으로 정의됩니다.

PCE-1 알고리즘

논문은 이러한 설명을 생성하기 위한 직관적인 알고리즘(PCE-1)을 소개합니다:

1. 초기 점수 산출: 원래의 프롬프트 $S$를 생성 모델 $G$에 통과시켜 $N$개의 샘플을 생성합니다. 다운스트림 분류기 $C_m$이 이 샘플들을 평가하며, 집계 함수 $f_{Cm}$이 점수(예: 평균 감성, 독성 출력의 비율)를 계산합니다. 만약 이 점수가 임계값을 초 exceed하면 프로세스가 계속됩니다.
2. 요소 수준 민감도: 알고리즘은 프롬프트의 요소(예: 단어)를 순회합니다. 각 요소 $e_i$에 대해, 알고리즘은 수정된 프롬프트 $S \setminus e_i$를 생성하며(일반적으로 해당 요소를 언더스코어(_)로 마스킹함), 생성 및 분류 프로세스를 다시 실행합니다.
3. 설명 구축:
   • 단일 요소: 단일 요소를 마스킹했을 때 집계 점수가 임계값 아래로 떨어지면, 이를 단일 요소 설명으로 기록합니다.
   • 다중 요소 부분 집합: 아직 단일 설명으로 식별되지 않은 요소들의 부분 집합을 구성합니다. 이들은 카드널리티(작은 집합 선호)와 점수 영향도에 따라 정렬됩니다. 알고-리즘은 제거 시 점수를 임계값 아래로 낮추는지 확인하기 위해 부분 집합을 테스트합니다.
   • 종료: 목표한 수의 설명이 발견되거나 시간 제한에 도달할 때까지 탐색을 중단합니다.

이 프레임워크는 집계 점수의 정의(평균, 중앙값, 극단적 사건의 확률)와 임계값에 대해 유연하며, 이를 통해 다양한 리스크 프로필(예: 평균 독성 최소화 vs. 독성 출력 제로 보장)에 적응할 수 있습니다.

주요 기여

1. 체계적 적응: 이는 다운스트림 분류기를 가진 생성형 AI 시스템에 표준 대조적 설명을 체계적으로 적응시킨 첫 번째 사례입니다.
2. 도전 과제 해결: 본 논문은 생성형 AI에 CFE를 적용할 때 발생하는 네 가지 과제를 명시적으로 설명하고, 이를 해결하는 프레임워크(다운스트림 분류 워크플로우, 유연한 입력 단위, 마스킹 전략, 확률적 점수 산출을 통한 해결)를 제안합니다.
3. 알고리즘 구현: 프롬프트-대조적 설명을 생성하기 위한 개념 증명 방법인 PCE-1 알고리즘을 제시합니다.
4. 경험적 검증: 서로 다른 출력 특성과 데이터 분포를 가진 세 가지 별개의 사례 연구를 통해 PCE 생성을 입증합니다.

결과: 세 가지 사례 연구

저자들은 LLaMA 3.1-8B와 OLMo-2-0425-1B를 사용하여 세 가지 도메인에서 프레임워크를 평가했습니다.

1. 정치적 성향 탐지

• 설정: LLM은 헤드라인으로부터 뉴스 스토리를 생성했으며, 분류기는 정치적 성향(좌/중/우)을 판별했습니다.
• 결과: PCE는 헤드라인 내의 특정 단어들(예: "Netanyahu", "IMF", "Trump")을 식별해냈으며, 이 단어들을 마스킹했을 때 우편향 출력이 나타날 확률이 크게 감소했습니다.
• 일반화 가능성: PCE에 의해 식별된 상위 20개 단어를 포함하는 헤드라인은 무작위 헤드라인(38.3%)에 비해 편향된 출력을 생성할 확률(49.8%)이 유의미하게 높았습니다.
• 활용: 프롬프트 엔지니어링 과정에서 식별된 단어들을 유의어로 교체함으로써 우편향 점수를 0.498에서 0.314로 낮출 수 있었으며, 이는 편향 인지 프롬프트 엔지니어링을 위한 PCE의 유용성을 입증합니다.

2. 독성 예측

• 설정: RealToxicityPrompts 데이터셋을 사용하여, 연구는 드물게 발생하는 독성 생성에 집중했습니다.
• 결과: PCE는 특정 트리거 단어(예: "Confederate", "Bannon")를 식별해냈으며, 이를 마스킹하면 독성 출력의 빈도가 감소했습니다.
• 활용 (레드팀 활동): PCE에서 추출된 단어들을 사용하여 새로운 프롬프트를 생성한 결과, 무작위 단어 선택(2.3%)보다 높은 독성 출력 비율(3.0%)을 보였습니다. 이는 PCE가 레드팀 활동 및 취약점 발견을 위한 효과적인 영감의 원천이 될 수 있음을 시사합니다.

3. 감성 분류

• 설정: LLM은 긴 프롬프트로부터 이야기를 생성했으며, 목표는 부정적 감성을 줄이는 것이었습니다.
• 결과: 프레임워크는 긴 프롬프트 내에서 부정적 감성을 유발하는 특정 문장을 성공적으로 식별했습니다. 이러한 문장을 마스킹하면 평균 부정 감성 점수가 거의 0에 가깝게 감소했습니다.
• 활용: 무작위 문장이 아닌, PCE에 의해 식별된 특정 문장을 바꾸는(paraphrasing) 것이 부정적 감성을 더 크게 감소(무작위 패러프레이징의 경우 0.31 대비 0.28)시켰으며, 이는 설명의 정밀도를 검증합니다.

의의 및 주장

본 논문은 PCE를 생성형 AI를 위한 **프롬프트 중심 해석 가능성(prompt-focused interpretability)**의 기초 단계로 포지셔닝합니다. 저자들은 다음과 같이 주장합니다:

• PCE는 이러한 모델이 고위험 작업에 적용됨에 따라 투명성과 책임성을 확보하기 위해 필수적인 능력을 제공합니다.
• PCE는 개발자가 특정 프롬프트 요소와 모델 행동 사이의 인과 관계를 이해함으로써 바람직하지 않은 출력 특성을 억제할 수 있게 하는 실질적인 프롬프트 엔지니어링 도구를 제공합니다.
• PCE는 특정 입력 특징이 유해한 행동을 유발하는 지점을 정확히 짚어냄으로써 레드팀 활동을 강화하고, 보다 표적화된 스트레스 테스트를 가능하게 합니다.
• 결정적으로, 본 연구는 기술적 정확성(입력 요소가 출력 특성에 인과적으로 영향을 미치는 것을 식별하는 것)과 맥락적 유용성(이해관계자들이 이 정보를 어떻게 사용하는가)을 구분합니다. 본 논문은 전자가 후자의 전제 조건임을 확립합니다.

저자들은 PCE가 프롬프트 변경에도 불구하고 지속되는 모델의 훈련 데이터 자체의 편향을 설명하는 데는 실패할 수 있으며, 대규모 프롬프트에 대해 PCE를 생성하는 계산 비용이 높을 수 있다는 한계를 인정합니다. 향히 연구 과제로 탐색 효율성 최적화 및 다른 모달리티(이미지, 오디오) 및 개인화된 LLM 컨텍스트로의 확장을 제안합니다.