🤖 machine learning

Reconstructing Training Data from Adapter-based Federated Large Language Models

원저자: Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

게시일 2026-01-27

📖 3 분 읽기☕ 가벼운 읽기

원저자: Silong Chen, Yuchuan Luo, Guilin Deng, Yi Liu, Min Xu, Shaojing Fu, Xiaohua Jia

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 요약: "비밀 레시피" 유출 사건

당신과 친구들이 함께 특정한 케이크(대규모 언어 모델, LLM)를 굽고 있다고 상상해 보세요. 하지만 당신은 당신만의 비밀 가족 레시피(개인 데이터)를 누구와도 공유하고 싶지 않습니다. 이를 해결하기 위해 여러분은 **연합 학습(Federated Learning)**이라는 영리한 기술을 사용합니다. 전체 레시피 북을 중앙 주방으로 보내는 대신, 케이크 팬의 탈부착 가능한 작은 부분(이를 **어댑터(Adapter)**라고 부릅니다)에 가한 아주 작은 변화만을 보냅니다. 메인 팬은 얼어붙은 듯 고정되어 손댈 수 없는 상태로 유지됩니다.

기존의 믿음은 이랬습니다: "우리는 팬의 아주 작은 부분에만 미세한 변화를 줄 것이고, 메인 팬은 잠겨 있으니, 아무도 당신의 비밀 레시 recipe를 알아낼 수 없을 것이다."

하지만 이 논문은 이렇게 말합니다: "그렇지 않습니다."

연구진들은 이러한 작고 잠겨 있는 변화가 있더라도, 교활한 제빵사(공격자)가 남겨진 빵가루(그래디언트 업데이트)를 살펴봄으로써 당신의 비밀 레시피를 완벽하게 재구성할 수 있다는 사실을 발견했습니다. 그들은 정확히 이 작업을 수행하는 UTR(Unordered-word-bag-based Text Reconstruction, 비순차적 단어 묶음 기반 텍스트 재구성)이라는 새로운 도구를 만들었습니다.

세 가지 큰 난관 (그리고 이를 뛰어넘은 방법)

연구진들은 다음 세 가지 특정 문제 때문에 이 작업이 매우 어려운 퍼즐이라는 것을 알고 있었습니다.

"미세한 신호" 문제: 전송되는 변화는 너무 작아서(저차원), 흐릿한 사진을 보고 레시피를 추측하려는 기존 방식들은 완전히 실패합니다.
- 해결책: UTR은 단순히 흐릿하게 보는 대신 금속 탐지기처럼 작동합니다. 모든 사람이 알고 있는 모델의 "얼어붙은(frozen)" 부분들을 스캔하여, 사전 속의 어떤 특정 단어들(토큰)이 사용되었을 가능성이 높은지 찾아냅니다. 문장 전체를 한꺼번에 추측하려 하지 않고, 레시피에 반드시 들어있어야 할 재료 목록인 "단어 주머니(Word Bag)"를 먼저 구축합니다.
"잠긴 주방" 문제: 모델의 핵심 두뇌(백본)는 얼어붙어 있습니다. 공격자들은 보통 입력을 역설계하기 위해 두뇌가 정보를 처리하는 방식을 알아내야 합니다. 여기서는 그 두뇌에 접근할 수 없습니다.
- 해결책: UTR은 비록 두뇌는 잠겨 있지만, 작은 "어댑터" 모듈이 그림자 인형극 역할을 한다는 점을 깨달았습니다. 어댑터의 미세한 변화가 만들어내는 그림자의 구체적인 형태를 분석함으로써, UTR은 전체 두의를 보지 않고도 어떤 문장이 데이터에 적합한지 알아낼 수 있습니다.
"조합의 악몽" 문제: 만약 단어 10개가 든 주머니가 있다면, 이를 문장으로 배열하는 방법은 수백만 가지가 넘습니다. 컴퓨터가 모든 조합을 일일이 시도하는 것은 불가능합니다.
- 해결책: UBR은 스마트 필터를 사용합니다. 무작위 조합을 모두 시도하는 대신, 문법 규칙과 상식(예: "a child"는 말이 되지만 "child the"는 말이 안 된다는 점)을 사용하여 좋지 않은 옵션들을 걸러냅니다. 그 후, 남은 후보들을 어댑터에 남겨진 수학적 "지문"과 대조하여 정확한 일치 항목을 찾아냅니다.

결과: 완벽한 재구성

연구진은 자신들의 "단어 주머니" 도구(UTR)를 다양한 모델(GPT-2, BERT, Qwen 등)과 다양한 유형의 텍스트(영화 리뷰, 문법 테스트 등)에 대해 테스트했습니다.

마법의 숫자: 많은 경우, UTR은 원래의 텍스트를 99%에서 100%의 정확도로 재구성했습니다.
규모: 기존 방식들은 "배치 크기"(한 번에 보내는 레시피의 개수)가 커지면 처참하게 실패했지만, UTR은 128개의 레시피를 한 번에 보낼 때도 완벽하게 작동했습니다.
놀라운 점: 연구진은 일부 모델(GPT-2 등)의 경우 텍스트를 읽는 방식(한 번에 한 단어씩 읽는 방식) 때문에 긴 문장을 해킹하는 것이 약간 더 어려웠지만, 최신 모델(Qwen 등)은 거의 완벽하게 해킹되었습니다.

"방어" 확인

논문은 일반적인 보안 조치들이 이를 막을 수 있는지 테스트했습니다.

그래디언트 프루닝 (작은 숫자를 버리는 것): 이것은 책에서 몇 페이지를 찢어내어 비밀을 숨기려는 것과 같았습니다. 하지만 효과가 없었습니다. 핵심 단어들만 남아 있다면, 공격자는 페이지의 99%가 사라져도 여전히 이야기를 읽을 수 있었습니다.
차분 프라이버시 (노이즈 추가): 이것은 라디오 신호에 잡음을 섞는 것과 같습니다. 연구진은 이 공격을 막으려면 라디오를 사용할 수 없을 정도로 엄청난 양의 잡음을 추가해야 한다는 것을 발견했습니다. 즉, 모델이 아무것도 배울 수 없게 됩니다.

시사점

이 논문은 효율성과 프라이버시 사이의 근본적인 긴장 관계가 존재한다고 결론짓습니다. 모델의 대부분을 얼리고 아주 작은 어댑터만 학습시킴으로써 모델을 "경량화"하고 "효율적"으로 만든다고 해서, 그것이 자동으로 안전함을 의미하지는 않습니다.

오히려 연구진은 이러한 효율적인 어댑터들이 기존의 방식만큼이나 위험한 새롭고 숨겨진 데이터 유출 통로를 만들어낸다고 주장합니다. 만약 여러분이 개인 데이터를 보호하기 위해 이러한 시스템을 사용하고 있다면, "우리는 모델의 아주 작은 부분만 업데이트했다"라는 사실을 안전의 보증 수표로 믿어서는 안 됩니다.

기술 요약: 어댑터 기반 연합 대규모 언어 모델로부터의 학습 데이터 재구성

문제 정의

어댑터 기반 미세 조정(예: LoRA)을 활용한 연합 대규모 언어 모델(FedLLMs)은 프라이버시를 보호하는 협력적 학습을 위한 주류 접근 방식이 되었습니다. 사전 학습된 LLM의 방대한 백본 파라미터를 동결하고 압축된 저차원 어댑터 모듈만을 학습시킴으로써, 이러한 시스템은 계산, 저장 및 통신 오버헤드를 줄이는 것을 목표로 합니다. 지배적인 가정은 이러한 파라미터 효율성이 공유되는 그래디언트(gradient)를 통해 유출될 수 있는 정보량을 제한함으로써 기존의 그래디언트 반전 공격(Gradient Inversion Attacks, GIAs)을 저지하고, 본질적으로 보안을 강화한다는 것입니다.

그러나 본 논문은 이러한 가정에 이의를 제기합니다. 본 논문은 어댑터 기반 FedLLM이 심각한 프라이버시 공격에 여전히 취약하다고 주장합니다. 다루고자 하는 핵심 문제는 세 가지 구체적인 어려움에도 불구하고, 어댑터 레이어의 공유된 그래디언트로부터 민감한 개인 학습 텍스트를 재구성하는 문제입니다. 기존의 GIA가 효과적이지 못한 이유는 다음과 같습니다:

업데이트의 낮은 차원성: 어댑터는 파라미터의 아주 작은 부분만을 업데이트하므로, 전체 파라미터 미세 조정과 비교했을 때 그래디언트 차원을 급격히 줄이고 원시 정보를 은닉합니다.
동결된 백본: 사전 학습된 LLM 백본은 동결된 상태로 유지됩니다. 즉, 공격자는 전체 파라미터 설정에서 텍스트 재구성을 용이하게 하는 핵심적인 어텐션(attention) 및 트랜스포머 레이어의 그래디언트에 접근할 수 없습니다.
광범위한 솔루션 공간: 가능한 텍스트 재구성의 조합 공간이 매우 방대하여, 특히 배치 크기(batch size)가 클 경우 직접적인 탐색이나 빔 서치(beam search)를 수행하는 것이 계산적으로 불가능합니다.

방법론: UTR 공격

저자들은 어댑터 기반 FedLLM의 고유한 구조적 특성을 악용하도록 설계된 새로운 2단계 파이프라인인 Unordered-word-bag-based Text Reconstruction (UTR) 공격을 제안합니다.

1단계: 워드 백 추론 (Word Bag Inference)

이 단계는 **임베딩 어댑터(embedding adapter)**를 대상으로 하여, 클라이언트의 프라이빗 입력에 포함된 순서가 지정되지 않은 어휘 토큰 집합을 추론하며, 이를 통해 연속적인 최적화 과정을 우회합니다.

메커니즘: 이 방법은 동결된 임베딩 레이어의 결정론적 특성을 활용합니다. 저자들은 임베딩 어댑터의 완전 연결(fully connected, FC) 다운샘플링 레이어에 대한 그래디언트를 분석합니다.
수학적 통찰: FC 레이어 내 뉴런들에 대한 **가중치 대비 편향 그래디언트 비율(Ratio of Weight to Bias Gradient, RWBG)**을 계산함으로써, 저자들은 저차원 선형 부공간(subspace) $S$ 를 구축합니다. 이 부공간은 실제 입력 토큰들의 숨겨진 임베딩 벡터들에 의해 생성(span)됩니다.
추론: 공격은 모델의 어휘 사전(vocabulary)을 반복 순회하며, 후보 토큰의 숨겨진 임베딩이 클라이언트의 그래디언트로부터 도출된 부공간 $S$ 내에 존재하는지 확인합니다. 만약 존재한다면, 해당 토큰은 "워드 백(word bag)"에 포함됩니다. 이는 문제를 벡터 피팅(vector fitting)에서 선형 대수적 멤버십 테스트로 변환합니다.

2단계: 데이터 추론 (Data Inference)

이 단계는 순서가 지정되지 않은 "워드 백"을 일관된 텍스트 시퀀스로 조립합니다.

메커니즘: 문법적, 의미적, 맥락적 필터(EICW, CG, CS)에 의해 유도되는 제약된 그리디 서치(constrained greedy search) 전략을 사용하여 유효하지 않은 토큰 조합을 제거합니다.
멤버십 추론: 후보 문장을 검증하기 위해, 방법론은 **레이어 어댑터(layer adapter)**의 그래디den트를 활용합니다. 후보 시퀀스를 모델에 통과시켜 숨겨진 임베딩을 생성한 후, 이 임베딩이 레이어 어댑터의 그래디언트에 의해 생성된 저차원 부공간 $S_{LA}$ 내에 존재하는지 확인합니다.
아키텍처 적응: 이 방법은 LLM 아키텍처의 차이를 고려합니다. 양방향 모델(예: BERT)의 경우, 한 번의 단계로 전체 텍{를 재구성할 수 있습니다. 단방향 모델(예: GPT)의 경우, 전체 시퀀스를 조립하기 위해 더 많은 후보 샘플이 필요하며 접두사 단위(prefix-wise)로 재구성을 수행합니다.

주요 기여

취약점 공개: 본 논문은 대부분의 모델 파라미터가 동결되어 있음에도 불구하고 어댑터 기반 FedLLM이 그래디언트 반전 공격으로부터 자유롭지 않음을 입증합니다. 이는 저차원 어댑터가 새로운, 악용 가능한 유출 채널을 생성함을 밝혀냅니다.
UTR 공격 프레임워크: 저자들은 저차원 업데이트와 동결된 백본의 문제를 극복하도록 맞춤 설계된 UTR을 도입합니다. UTR은 임베딩 그래디언트의 부공간 분석과 제약된 디코딩을 결해 고충실도(high-fidelity) 재구성을 달 achieve합니다.
유출에 대한 이론적 분석: 본 논문은 복구 가능한 최대 토큰 수( $k_{max}$ )를 어댑터 그래디언트에 의해 생성된 부공간의 랭크( $rank(S) \leq d_{bottleneck}$ )에 의해 제한됨을 정의하며, 공격의 한계에 대한 이론적 평가를 제공합니다.
포괄적 평가: 연구는 다양한 모델(BERT, GPT2-Large, Qwen2.5-7B)과 데이터셋(CoLA, SST-2, Rotten Tomatoes)을 대상으로, 다양한 배치 크기와 방어 메커니즘 하에서 공격을 평가합니다.

실험 결과

실험 결과, UTR은 LAMP 및 DAGER와 같은 최신 베이스라인 모델들을 크게 상회하는 근사 완벽한 재구성 정확도를 달성했습니다.

재구성 정확도: UTR은 배치 크기가 128에 달하는 경우에도 테스트된 모든 모델과 데이터셋에서 99% 이상의 ROUGE-1/2 점수를 기록했습니다. 반면, DAGER와 같은 베이스라인은 동결된 백본 설정에서 완전히 실패했으며, LAMP는 배치 크기가 증가함에 따라 성능이 크게 저하되었습니다.
확장성: UTR 공격은 Qwen2.5-7B 및 BERT에서 큰 배치(최대 128)에서도 효과적으로 작동합니다. GPT2-Large의 경우, 단방향 어텐션 메커니즘으로 인해 긴 시퀀스를 재구성하는 데 어려움이 있어 특정 데이터셋(SST, RT)에서 배치 크기가 32를 초과할 때 성능이 하락합니다.
방어 평가:
- 차분 프라이버시 (Differential Privacy, DP): DP는 적절한 노이즈 수준( $\sigma \geq 1.5$ )에서 공격 성공률을 0%에 가깝게 낮추는 효과적인 방어로 나타났습니다. 그러나 저자들은 이러한 수준의 노이즈가 모델을 실제 작업에 사용할 수 없게 만든다고 언급했습니다.
- 그래디언트 프루닝 (Gradient Pruning, GP): GP는 취약한 보호책을 제공합니다. 공격적인 프루닝(99.9%)을 적용하더라도 일부 유출이 지속되며, 공격을 완화하기 위해서는 모델 유틸리티를 심각하게 저해하는 높은 프루닝 비율이 필요합니다.

의의 및 주장

본 논문은 FedLLM에서 파라미터 효율성과 프라이버시 사이에 근본적인 긴장이 존재한다고 결론짓습니다. 경량 어댑테이션이 본질적으로 보안을 강화한다는 기존의 믿음은 본 연구 결과에 의해 도전받습니다.

프라이버시-성능 트레이드오프: 본 연구는 어댑터가 통신 비용을 줄여주기는 하지만, 자동으로 프라이버시를 보장하지는 않는다는 점을 강조합니다. 효율성을 위해 의도된 저차원 업데이트가 역설적으로 이산적인(discrete) 입력 데이터를 복구할 수 있는 수학적 역전이 가능한 특정 부공간을 생성합니다.
설계에 대한 시사점: 결과는 어댑터 기반 미세 조 조정에만 의존하는 것은 불충분하다는 것을 시사합니다. 저자들은 효율적인 FedLLM 패러다임에서 재구성 위험에 대한 체계적인 평가가 필요함을 강조하며, 효과적인 방어(예: DP)가 모델 유틸리티의 희생을 수반할 수 있음을 지적합니다.

본 연구는 어댑터 기반 FedLLM의 보안 보장이 보이는 것만큼 견고하지 않다는 점을 경고하며, 모델이 제공하는 효율성의 이점을 해치지 않으면서도 새로운 방어 전략을 마련해야 함을 커뮤니티에 알리는 중요한 역할을 합니다.