Vectors Are Not Neutral: Sensitive-Information Inference from Exported LLM Representations in Summarization

기술 요약: 벡터는 중립적이지 않다

문제 제기
대규모 언어 모델 (LLM) 요약 시스템은 검색, 모니터링, 감사 또는 분석을 위한 하류 워크플로우에 개인 입력의 소형 벡터 표현을 종종 내보냅니다. 원본 문서가 접근 제한을 유지하더라도, 이러한 파생 벡터는 종종 다른 접근 제어 하에 처리됩니다. 이 논문은 원본 텍스트가 보호되더라도 이러한 내보낸 벡터가 여전히 기술된 개인에 대한 민감한 정보 추론을 지원할 수 있으며, 이로 인해 잔여 정보 유출 위험이 발생한다고 주장합니다. 이 문제는 단순히 악의적인 공격 벡터가 아니라 거버넌스 및 정책 문제로 규정됩니다. 하류 구성 요소 (예: 분석가, 감사자, 서비스 제공자) 는 원본 텍스트나 구조화된 민감한 속성을 검사할 권한 없이 벡터에 접근할 수 있기 때문입니다. 이러한 벡터가 주제 수준의 정보를 드러내서는 안 되는 파생 아티팩트로 간주될 경우, 민감한 속성의 성공적인 복원은 프라이버시 실패로 간주됩니다.

방법론
저자들은 이 문제를 임상 퇴원 요약 생성 (특히, Brief Hospital Course 또는 BHC 생성) 을 고위험 사례 연구로 사용하여 구체화했습니다. 그들은 감사용 통제 민감 레이블로 전자 건강 기록 (EHR) 에 기록된 인종을 사용했습니다.

1. 감사된 아티팩트: 이 연구는 생성 전에 계산된 두 가지 특정 프롬프트 유도 아티팩트에 초점을 맞춥니다.
   • lasttok: 디코딩 직전 마지막 프롬프트 토큰의 숨겨진 상태.
   • meanpool: 검색 또는 의미 색인화에 사용되는 임베딩과 유사한, 모든 패딩이 아닌 프롬프트 토큰 숨겨진 상태의 평균.
2. 평가 프로토콜: 저자들은 고정된 내보낸 벡터에 대한 사후 프로빙을 사용합니다. 그들은 내보낸 벡터에서 5 가지 EHR 기록 인종 레이블을 예측하기 위해 선형 (다항 로지스틱 회귀) 및 비선형 (2 층 MLP) 프로브를 훈련시킵니다. 성능은 프로브 정확도와 LeakageGap(균형 잡힌 5 가지 설정에서 0.20 인 우연 기준선과의 절대 편차) 으로 측정됩니다.
3. 완화 전략 (SURFACELORA): 이 논문은 특정 내보낸 벡터를 대상으로 하는 매개변수 효율적 미세 조정 (PEFT) 방법인 SURFACELORA를 소개합니다.
   • 메커니즘: 이는 LoRA 를 통한 요약과 같은 표준 유틸리티 목적과 적대적 목적을 결합합니다. 경량 판별기가 훈련 중 내보낸 특정 벡터 (예: lasttok) 에 연결됩니다.
   • 기울기 반전: 기울기 반전 레이어 (GRL) 가 판별기에서 LoRA 어댑터로 흐르는 기울기를 반전시키는 데 사용됩니다. 이는 모델이 요약 유틸리티를 유지하면서 특정 대상 벡터를 민감한 속성 예측에 덜 유용하게 만듭니다.
   • 아티팩트 특이성: 이 방법은 내보내기로 의도된 정확한 벡터에 대한 유출을 완화하도록 설계되었습니다. 훈련 시간 판별기는 특정 표현 (예: lasttok) 을 대상으로 하며, 저자들은 완화 전략이 배포 시 유지되는 특정 아티팩트와 일치해야 한다고 주장합니다.
4. 체크포인트 선택: 저자들은 훈련 중 유틸리티와 유출 사이에 비단조적 트레이드오프가 관찰된다고 지적합니다. 따라서 그들은 단순히 최종 훈련 단계를 사용하는 대신, 사전 지정된 유출 예산 (예: LeakageGap $\le$ 0.025) 을 사용하여 홀드아웃 검증 세트 (bal_val) 를 기반으로 체크포인트를 선택하고 ROUGE-L 을 최대화하는 배포 절차를 제안합니다.

주요 결과

• 아티팩트 특이적 유출: 하나의 내보낸 아티팩트 (예: lasttok) 에서 민감한 정보의 복원 가능성을 줄이는 것이 다른 아티팩트 (예: meanpool) 에서의 복원 가능성 감소를 보장하지는 않습니다. 실험에서 SURFACELORA 는 대상이 된 lasttok 아티팩트로부터의 인종 복원 가능성을 우연 수준 (약 0.203 정확도) 으로 성공적으로 줄였으며 요약 유틸리티는 유지했습니다. 그러나 대상이 아닌 meanpool 아티팩트는 여전히 상당한 예측력 (약 0.316–0.323 정확도) 을 보였으며, 이는 완화 조치가 서로 다른 벡터 표현 간에 전이되지 않음을 보여줍니다.
• 프롬프팅 및 사후 제거의 부족: 프롬프트 엔지니어링 (중립성 지시 추가) 과 사후 선형 변환 (예: PCA 제거, INLP) 은 불충분한 것으로 판명되었습니다. 프롬프팅은 복원 가능한 신호를 제거하지 못했고 메타 용어 오염을 초래했습니다. 사후 변환은 선형 복원 가능성을 줄였지만 비선형 유출을 제거하지는 못했습니다.
• 트레이드오프의 취약성: 적대적 강도 ($\lambda$) 와 유출 사이의 관계는 비단조적입니다. 최적 체크포인트를 넘어 훈련을 계속하면 "반등"이 발생하여 적대적 압력이 지속됨에도 불구하고 유출이 증가할 수 있습니다. 이는 검증 기반 체크포인트 선택을 필요로 합니다.
• 출력 vs 표현: SURFACELORA 가 표현 수준의 유출을 줄였지만, 생성된 텍스트를 민감한 속성에 대해 불변으로 만들지는 못했습니다. 출력 기반 공격자는 여전히 생성된 요약에서 우연보다 높은 비율로 인종을 추론할 수 있었으며, 이는 기준선보다 약간 낮았습니다.

의의 및 주장
이 논문은 세 가지 주요 기여를 주장합니다:

1. 규정: 내보낸 요약 벡터를 원본 텍스트나 전체 모델과 구별되는 민감 정보 추론을 위한 구체적이고 아티팩트 특이적인 감사 대상으로 규정합니다.
2. 아티팩트의 이질성: 하나의 내보낸 벡터로부터의 우연 수준의 복원이 다른 벡터로부터의 상당한 복원과 공존할 수 있음을 보여줌으로써, 표준 토큰 표현을 정제하는 것이 광범위한 안전성을 의미한다는 가정을 도전합니다.
3. 표적 완화: 특정 벡터 (예: lasttok) 에서의 복원 가능성을 효과적으로 줄이면서 유틸리티를 유지하는 아티팩트 대상 PEFT 방법인 SURFACELORA 를 소개합니다.

저자들은 요약 시스템에 대한 프라이버시 감사 및 완화 조치가 아티팩트 특이적이어야 한다고 결론지었습니다. 완화 주장은 감사 중인 민감 정보와 유지, 기록 또는 노출되는 정확한 벡터 아티팩트를 모두 식별할 때만 의미가 있습니다. 시스템이 검색을 위한 풀링 임베딩을 내보내는 경우, 감사 및 완화는 해당 특정 표현을 대상으로 해야 하며, 마지막 토큰 상태만 정제하는 것은 불충분합니다. 이 논문은 이는 배포 지향적인 레시피임을 강조합니다: 파이프라인에서 사용되는 특정 벡터를 감사하고 해당 벡터에 맞춰 완화 조치를 적용해야 합니다.

한계점
저자들은 이 연구가 특정 경험적 설정 (EHR 기록 인종을 사용한 BHC 요약) 에 국한되어 있으며 모든 민감한 속성, 도메인 또는 모델 아키텍처에 걸쳐 일반성을 확립하지는 못했다고 인정합니다. 그들은 다중 속성 완화 (인종, 연령, 성별 등을 동시에 보호) 는 여전히 해결되지 않은 문제라고 지적합니다. 또한, 그들은 EHR 기록 인종이 생물학적 속성이 아닌 관리적 범주로 취급되며, 연구 결과는 기록된 범주와 그 텍스트 대리인의 복원 가능성에 관한 것임을 명확히 합니다.