기술 요약: 정렬(Alignment)을 통한 LLM의 속성 추론 공격 방어

1. 문제 정의

대규모 언어 모델(LLM)은 환자 인구 통계나 질병 유병률과 같은 민감한 데이터셋 수준의 속성을 포함하는 도메인 특화 데이터셋(예: 의료, 금융)에 대해 점점 더 많이 미세 조정(fine-tuning)되고 있습니다. 최근 연구들은 공격자가 배포된 모델로부터 이러한 전역적 통계치를 추출하기 위해 **속성 추론 공격(property inference attacks)**을 악용할 수 있음을 입증했습니다. 이러한 공격은 모델에 쿼리를 보내고 생성된 출력을 분석하여 기저의 데이터 분포를 추정하는 방식으로 작동합니다.

속성 추론에 대한 기존의 방어책은 주로 데이터셋을 재샘플링하여 민감한 속성을 모호하게 만드는 것과 같은 **학습 단계의 개입(training-time interventions)**에 국한되어 있습니다. 이러한 방법은 효과적이긴 하지만, 원래의 학습 데이터에 접근해야 하며 모델을 다시 학습시켜야 합니다. 이는 데이터를 사용할 수 없거나, 데이터가 독점적이거나, 모델이 이미 배포된 시나리오에서는 비실용적입니다. 또한, 학습 분포를 수정하는 것은 상당한 유틸리티(utility) 저하를 초래할 수 있습니다.

2. 방법론

저자들은 원래의 학습 데이터를 수정하지 않고도 모델의 출력 분포를 규정된 목표 속성 비율로 재형성하는 **사후 학습 정렬 기반 방어(post-training alignment-based defense)**를 제안합니다. 이 접근 방식은 초기 미세 조정 이후에 발생하는 정렬 단계(예: 인간 피드백으로부터의 강화 학습, RLHF)를 포함하는 LLM의 고유한 학습 파이프라인을 활용합니다.

본 논문은 방어 도구로서 널리 사용되는 두 가지 RLHF 프레임워크를 변형하여 적용합니다.

A. 직접 선호 최적화 (Direct Preference Optimization, DPO)

• 메커니즘: 저자들은 모델의 추정 속성 비율을 목표 비율($r_t$)에 상대적으로 구성된 선호 쌍 $(y^+, y^-)$을 구축합니다.
• 과정: 주어진 프롬프트에 대해 모델은 여러 개의 샘플을 생성합니다. 현재 추정 비율이 목표보다 낮으면, 해당 속성을 만족하는 샘플을 선호($y^+$)로 라벨링하고 그렇지 않은 샘플을 거부($y^-$)로 라벨링합니다. 만약 비율이 목표보다 높으면 라벨을 반대로 적용합니다.
• 확장: 이 프레임워크는 현재 속성 비율과 목표 비율 사이의 편차 크기에 비례하여 선호 쌍에 가중치를 부여함으로써 **다중 클래스 정렬(multi-class alignment)**로 확장됩니다.

B. 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO)

• 메커니즘: GRPO는 그룹 상대적 어드밴티지(group-relative advantage) 함수를 사용하여 온-폴리시(on-policy) 업데이트를 활용합니다.
• 과정: 모델은 출력 그룹을 샘플링합니다. 특정 보상 함수를 설계하여 경험적 생성 비율을 목표 방향으로 유도합니다.
  • 현재 비율이 목표보다 낮으면, 속성을 만족하는 샘플에 양(+)의 보상을 부여합니다.
  • 현재 비율이 목표보다 높으면, 속성을 만족하지 않는 샘플에 양(+)의 보상을 부여합니다.
  • 비율이 이미 허용 오차 범위 내에 있는 경우 샘플은 보상 계산에서 제외됩니다.
• 확장: DPO와 마찬가지로, 특정 속성이 목표 대비 과소 또는 과대 표현되는지에 따라 보상을 할당하는 다중 클래스 설정으로 확장됩니다.

방어 목표

주된 목표는 $\hat{r}_{generation}(\tilde{f}) \approx r_t$를 강제하는 것입니다. 여기서 $\tilde{f}$는 방어된 모델이고 $r_t$는 목표 비율(예: 공공 사전 지식)입니다. 저자들은 생성 기반의 추정치를 제어함으로써, 특정 속성을 가진 생성 샘플의 비율을 변경하여 관련 키워드의 주변 빈도(marginal frequency)를 변화시키기 때문에, 단어 빈도 특징에 의존하는 섀도우 모델 기반 공격(shadow-model-based attacks) 또한 간접적으로 차단할 수 있다고 주장합니다.

3. 실험 설정

저자들은 두 가지 유형의 공격에 대해 방어 성능을 평가했습니다:

1. 생성 기반 공격 (Generation-based attacks): 공격자가 설계된 프롬프트로 모델에 쿼리를 보내고 출력으로부터 속성 비율을 직접 추정합니다.
2. 섀도우 모델 기반 공격 (Shadow-model-based attacks): 공격자가 제어된 속성 비율을 가진 섀도우 모델들 위에서 단어 빈도 특징을 사용하여 회귀 모델을 학습시켜 타겟 모델의 속성 비율을 예측합니다.

데이터셋 및 모델:

• ChatDoctor: LLaMA-1-7B에 미세 조정된 의료 Q&A 데이터셋. 타겟 속성은 여성 환자의 비율입니다.
• MedCalc-Bench: Qwen-2.5-7B에 미세 조정된 의료 계산 데이터셋. 타겟 속성은 특정 의료 계산 용어(CKD-EPI 방정식)의 존재 여부입니다.
• 설정: 실험은 질의응답(QA) 및 채팅 완성(Chat-Completion, CC) 모드 모두에서 수행되었습니다.

베이스라인:

• 서브샘플링 (Subsampling): 다운샘플링을 통해 학습 데이터를 재균형화함 (재학습 필요).
• 온도 스케일링 (Temperature Scaling): 디코딩 온도를 조절함 (추론 시 제어).
• 방어 없음 (No Defense): 표준 미세 조정된 모델.

4. 주요 결과

실험 결과, 정렬 기반 방어는 모델의 유틸리티를 강력하게 유지하면서 속성 추론 공격을 효과적으로 완화함을 보여주었습니다.

• 공격 완화: DPO와 GRPO 모두 "방어 없음" 베이스라인에 비해 생성 기반 및 섀도우 모델 공격 모두에서 평균 절대 오차(MAE)를 크게 증가시켰습니다. 많은 경우, 공격 오차가 "무작위 추측(Random Guess)" 베이스라인에 근접하거나 이를 초과하였으며, 이는 정보 유출이 최소화되었음을 나타냅니다.
• 유틸리티 보존: MedCalc에서 15% 이상의 상대적 유틸리티(예: 정확도) 저하를 일으킨 서브샘플링과 달리, 정렬 기반 방법(DPO 및 GRPO)은 모델 성능을 잘 보존하여 정확도를 미방어 미세 조정 모델과 유사한 수준으로 유지했습니다.
• 타겟 정렬: 표 2의 결과는 GRPO와 DPO가 생성된 비율과 목표 비율($r_t$) 사이의 MAE를 가장 낮게 달로 달성했음을 보여줍니다. GRPO가 일관되게 가장 우수한 정렬 성능을 보였는데, 이는 현재의 생성 동작을 바탕으로 반복적인 조정을 가능하게 하는 온-폴리시 업데이트 덕분인 것으로 보입니다.
• 다중 클래스 성능: 다중 속성 설정(예: 정신 질환 대 소화기 질환의 비율 추론)에서, 방어 기법은 여러 속성 비율을 목표치로 동시에 성공적으로 조정하였으며, 조정의 정도는 초기 편차의 크기에 따라 조절되었습니다.

5. 의의 및 주장

본 논문은 정렬이 LLM의 속성 추론 공격을 완화하기 위한 효과적인 사후 학습 접근 방식이라고 주장합니다. 그 의의는 다음과 같습니다:

1. 데이터 독립성: 원래의 학습 데이터에 접근할 필요가 없어, 이미 배포된 모델에도 적용 가능합니다.
2. 유틸리티-기밀성 트레이드오프: 데이터셋 수준의 통계치를 효과적으로 숨기면서도 모델의 주요 작업 성능을 저하시키지 않는 강력한 균형을 달야냅니다.
3. 실용성: 널리 채택된 기존 RLHF 프레임워크(DPO 및 GRPO)를 활용하므로 실제 구현이 용이합니다.

저자들은 기존의 방어책이 학습 분포를 수정하는 데 의존하는 반면, 정렬은 추론 시점에 모델의 행동을 제어할 수 있는 별개의 메커니즘을 제공하여 생성 기반 및 단어 빈도 기반 섀도우 공격 모두에 대해 견고한 방어를 제공한다고 결론짓습니다.