💬 NLP

Data Attribution in Large Language Models via Bidirectional Gradient Optimization

이 논문은 생성된 출력물을 바탕으로 베이스 모델을 섭동시켜 학습 샘플 전반에 걸친 손실 변화를 측정함으로써, 모델의 해석 가능성과 책임성을 높이기 위해 영향력 있는 데이터를 식별하는 데 있어 기존 방법들보다 뛰어난 성능을 보이는 대규모 언어 모델용 양방향 그래디언트 최적화 프레임워크를 소개한다.

원저자: Frédéric Berdoz, Luca A. Lanzendörfer, Kaan Bayraktar, Roger Wattenhofer

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Frédéric Berdoz, Luca A. Lanzendörfer, Kaan Bayraktar, Roger Wattenhofer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 수천 가지의 요리를 만들 수 있는 방대한 레시피 라이브러리(학습 데이터)를 가진 천재적인 셰프(대규모 언어 모델)가 있다고 상상해 보세요. 어느 날, 이 셰프가 당신에게 "매콤한 토마토 파스타"라는 특정 요리를 내놓았습니다. 당신은 문득 이런 의문이 들 것입니다. 그 라이브러리에 있는 어떤 구체적인 레시피들이 실제로 이 요리에 영감을 주었을까? 이탈리아 할머니의 레시피였을까? 현대적인 퓨전 블로그의 레시피였을까? 아니면 두 가지가 섞인 결과물일까?

이것이 바로 **데이터 귀속(Data Attribution)**의 문제입니다. 이 논문은 이 질문에 답하기 위해 DABGO(양방향 그래디언트 최적화를 통한 데이터 귀속)라고 불리는 새로운 방법을 소개합니다.

DABGO가 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

문제점: "블랙박스" 주방

보통 셰프가 요리를 만들 때, 우리는 라이브러리의 어떤 재료가 가장 중요했는지 쉽게 알 수 없습니다. 기존 방식들은 단어를 찾아 매칭하는 방식(예: 라이브러리에서 "토마토"라는 단어 검색)으로 추측하려 하지만, 이는 요리의 스타일이나 분위기를 놓치기 쉽습니다. 다른 방식들은 수학적으로 영향력을 계산하려 하지만, 복잡하고 창의적인 요리에는 너무 느리거나 부정확할 수 있습니다.

해결책: "만약에?" 실험

DABGO는 영리한 "만약에?" 전략을 사용합니다. 단순히 라이브러리를 들여다보는 대신, 방금 만든 특정 요리에 대해 셰프의 뇌가 어떻게 반응하는지 보기 위해 일시적으로 셰프의 뇌를 변화시킵니다.

이렇게 생각해보세요:

설정: 셰프는 이미 "매콤한 토마토 파스타"(생성된 출력물)를 요리했습니다.
실험: 연구자들은 셰프의 뇌를 가져와서 그 특정 파스타 요리에 대해 두 가지 빠르고 반대되는 시뮬레이션을 실행합니다.
- 시뮬레이션 A (그래디언트 상승/Gradient Ascent): 셰프의 뇌를 이 파스타를 더욱 사랑하게 만듭니다. 셰프가 "이것은 최고의 파스타야! 나는 이것을 완벽하게 기억해야 해!"라고 생각하도록 만드는 것입니다.
- 시뮬레이션 B (그래디언트 하강/Gradient Descent): 셰프의 뇌를 이 파스타를 싫어하게 만듭니다. 셰프가 "나는 이 레시피를 완전히 잊고 싶어"라고 생각하도록 만드는 것입니다.
테스트: 이제, '사랑에 빠진' 뇌와 '미워하는' 뇌를 가진 셰프에게 원래의 레시피 라이브러리를 살펴보라고 합니다.
- 만약 특정 오래된 레시피가 '사랑에 빠진' 셰프를 매우 행복하게 만들면서 동시에 '미워하는' 셰프를 매우 슬프게 만든다면(혹은 그 반대라면), 그 레시피는 이 파스타에 주요한 영향을 미친 것입니다.
- 만약 어떤 레시피가 두 시뮬레이션 모두에서 셰프의 감정에 별다른 변화를 주지 않는다면, 그것은 최종 요리에 그리 중요하지 않았을 가능성이 높습니다.

왜 "양방향"이 중요한가

논문에서는 이러한 시뮬레이션 중 하나만 수행하는 것(셰프를 좋아하게만 만들거나, 싫어하게만 만드는 것)은 충분하지 않다는 것을 발견했습니다. 그것은 노래를 이해하기 위해 최대 볼륨으로 듣거나 혹은 속삭임 소리로만 듣는 것과 같습니다. 전체 그림을 얻으려면 양방인 방향이 모두 필요합니다.

"사랑"의 방향은 모델이 자연스럽게 모방하고 싶어 했던 레시피를 찾는 데 도움이 됩니다.
"미움"의 방향은 모델이 피하려고 했거나 자신을 차별화하려고 했던 레시피를 찾는 데 도움이 됩니다.
이 두 가지를 결합함으로써, DABGO는 아이디어가 어디에서 왔는지에 대한 훨씬 더 명확한 지도를 얻을 수 있습니다.

무엇을 발견했는가?

연구진은 두 가지 유형의 "요리"에 대해 테스트를 진행했습니다.

사실적 요리: 사실 관계를 진술하는 것 (예: "파리는 프랑스의 수도이다").
스타일 요리: 특정 저자의 글쓰기 스타일을 흉내 내는 것 (예: 셰익스피어나 제인 오스틴처럼 쓰기).

결과:

경쟁자보다 우수함: DABGO는 기존 방식들보다 적절한 소스 레시피를 훨씬 더 잘 찾아냈습니다. 기존 방식들이 키워드 검색 엔진과 같아서 적절한 단어는 찾았을지언정 적절한 맥락이나 스타일은 놓쳤던 반면, DABGO는 이를 잡아냈습니다.
스타일의 중요성: 과제가 특정 저자의 스타일을 흉내 내는 것이었을 때, DABGO는 동일한 저자가 쓴 다른 텍스트들을 성공적으로 지목한 반면, 단순한 단어 매칭 도구들은 실패했습니다.
정밀한 확대: DABGO는 매우 정밀하여 전체 레시피뿐만 아니라, 그 레시피 내의 특정 문장이나 심지어 단어까지도 가장 영향력이 컸던 부분을 짚어낼 수 있습니다.

한계점 (Catch)

이 논문은 단점도 솔직하게 밝히고 있습니다. 이 "만약에?" 실험은 계산량이 매우 많습니다. 이는 하나의 새로운 요리를 테스트하기 위해 라이브러리의 모든 레시피를 두 번씩 다시 요리해야 하는 것과 같습니다.

이 방식은 작고 통제된 실험에서는 매우 훌륭하게 작동합니다.
현재로서는 오늘날 빅테크 기업들이 사용하는 거대 규모의 산업용 모델(수십억 개의 단어로 학습된 모델)에 실행하기에는 너무 느리고 비용이 많이 듭니다.

핵심 요약

DABGO는 AI가 왜 그렇게 말했는지를 이해하도록 돕는 새로운 도구입니다. 특정 출력물을 수용하거나 잊으려고 할 때 AI가 어떻게 변할지를 시뮬레이션함으로써, 그 출력을 가장 영향력 있었던 학습 데이터로 추적할 수 있습니다. 이는 AI를 더 투명하고 책임감 있게 만들어, 우리가 "요리" 뒤에 숨겨진 "재료"를 볼 수 있게 해줍니다.

기술 요약: 양방향 그래디언트 최적화를 통한 대규모 언어 모델의 데이터 귀속 (DABGO)

문제 정의

대규모 언어 모델(LLM)은 법률 초안 작성, 의료 진단, 과학 연구와 같은 중요한 영역에 점점 더 많이 배치되고 있습니다. 이러한 모델들은 방대한 학습 코퍼스로부터 능력을 얻지만, 근본적인 미해결 과제가 남아 있습니다: 즉, 특정 모델 출력이 어떤 구체적인 학습 데이터로부터 가장 큰 영향을 받았는지 식별하는 것입니다. 현재의 연구는 주어진 데이터셋에 따른 모델 성능에 집중되어 있는 반면, 그 역방향 문제인 모델의 동작을 특정 데이터 소스로 추적하는 문제는 여전히 미개척 분야로 남아 있습니다. 이러한 추적 가능성의 결여는 거버넌스, 책임성, 그리고 특정 데이터 포인트를 디버깅하거나 "망각(unlearn)"하는 능력을 저해합니다. 영향 함수(Influence Functions)와 같은 기존의 훈련 데이터 귀속(TDA) 방법들은 재학습이 필요한 계산 불가능성이나 대규모 모델에서의 헤시안 역행렬(Hessian inversion) 문제와 같은 실질적인 한계에 직면해 있습니다. 또한, 이전의 NLP 귀속 연구들은 단일 단어 예측이나 데이터셋 수준의 입도에 국한된 사실 추적에 주로 머물러 있어, 완전히 개방형인 텍스트 생성 문제를 다루지 못했습니다.

방법론

저자들은 자기회귀적 LLM을 위한 역방향 영향 함수를 추정하기 위해 설계된 프레임워크인 **DABGO (Data Attribution via Bidirectional Gradient Optimization)**를 제안합니다. 핵심 가설은 "미러드 인플루언스(mirrored influence)" 개념에 기반합니다: 이는 특정 예측에 대한 훈련 샘플의 영향력을, 해당 예측에 대해 모델을 최적화할 때 모델의 행동이 훈련 샘플에 미치는 영향을 관찰함으로써 추정할 수 있다는 것입니다.

핵심 알고리즘

양방향 최적화: 사전 학습된 모델 $\pi_{\theta^*}$ 와 생성된 출력 시퀀스 $\hat{x}$ (프롬프트 $\hat{x}_0$ 에 의해 유도됨)가 주어졌을 때, 이 방법은 두 가지 변형된 모델 변체를 구축합니다:
- 그래디언트 상승 ( $\theta_+$ ): 생성된 텍스트 $\hat{x}$ 의 가능성(likelihood)을 증가시키도록 모델을 최적화합니다 (이는 "망각" 또는 영향력 극대화를 시뮬레이션합니다).
- 그래디언트 하강 ( $\theta_-$ ): $\hat{x}$ 의 가능성을 감소시키도록 모델을 최적화합니다 (이는 파인튜닝 또는 영향력 최소화를 시뮬레이션합니다).
- 두 최적화 과정 모두 계산 가능한 효율성을 보장하기 위해 대각 피셔 정보 행렬(Diagonal Fisher Information Matrix, FIM)로 근사된 Fisher-정규화 업데이트(Elastic Weight Consolidation)를 사용합니다.
양방향 영향 점수 (BIS): 데이터셋 $D$ 내의 모든 훈련 샘플 $x_i$ 에 대해, 이 방법은 두 변형된 모델( $\theta_+$ 및 $\theta_-$ ) 하에서의 손실(loss)을 계산합니다. 영향 점수는 다음과 같이 손실의 절대적 변화량으로 정의됩니다:
$I(x_i; \hat{x}) = |\ell(x_i, \theta_-) - \ell(x_i, \theta_+)|$
손실의 절대적 변화가 큰 샘플들은 $\hat{x}$ 의 생성을 위해 가장 영향력이 큰 것으로 순위가 매겨집니다.
입도 (Granularity): 이 프레임워크는 전체 훈련 샘플부터 토큰 수준까지 임의의 수준에서 귀속을 지원하며, 이는 토큰별 로그 가능도(log-likelihood) 차이를 측정함으로써 가능합니다.

주요 기여

새로운 프레임워크: 값비싼 샘플당 그래디언트 계산이나 헤시안 역행렬 계산을 피하면서, 개방형 텍스트 생성에 효과적인 단순하고 강력한 귀속 방법인 DABGO를 도입했습니다.
양방향 접근 방식: 그래디언트 상승 또는 하강 중 하나만 사용하는 단방향 접근 방식보다 양방향을 결합하는 것이 더 우수한 귀속 정확도를 제공함을 입증하였으며, 이는 생성 모델에서 상호 보완적인 신호를 포착합니다.
세밀한 귀속: 이 방법은 사실적 내용뿐만 아니라 문체적 특성(예: 저자, 구문)까지 포착하여, 임의의 데이터 입도에서 귀속을 수행할 수 있게 합니다.
평가 프로토콜: 저자들은 완전한 재학습 실험을 통해 실제 영향력의 정의에 의해 검증된, 계산 효율적인 영향력 프록시로서 Tail-Patch Absolute (TPA) 점수를 도입하고 활용했습니다.

실험 결과

저자들은 두 가지 서로 다른 코퍼스로부터 처음부터 학습된 GPT-2 스타일 모델에 대해 DABGO를 평가했습니다:

사실적 귀속: 선별된 위키피디아 코퍼스 (230M 토큰) 사용.
문체적 귀속: 다양한 저자가 포함된 Project Gutenberg 문학 텍스트 (2M 토큰) 사용.

정량적 성능:

사실적 설정: DABGO는 대부분의 $k$ 값(상위 귀속 샘플 수)에 대해 BM25, TRACKSTAR, GECKO와 같은 베이스라인을 일관되게 능가했습니다. BM25는 강한 어휘적 중첩 덕분에 $k=1$ 에서 좋은 성능을 보였으나, DABGO는 $k$ 가 증가함에 따라 탁월한 성능을 보였으며, 이는 분산된 사실적 영향력을 더 잘 식별함을 나타냅니다.
문체적 설정: DABGO는 $k$ 가 증가함에 따라 단어 기반 검색(BM25) 및 임베딩 기반 방법(GECKO)을 크게 앞질렀습니다. 이는 단일 구절에 의존하기보다 여러 훈련 샘플에 걸쳐 분산된 문체적 신호를 포착하는 이 방법의 능력을 강조합니다.
재학습을 통한 검증: 상위 $k$ 개의 귀속 샘플을 제거하고 모델을 재학습하는 카운터팩추얼(counterfactual) 실험에서, DABGO가 귀속한 샘플을 제외하고 재학습된 모델은 다른 방법으로 귀속된 샘플을 제외하고 재학습된 모델보다 테스트 출력에 대해 유의미하게 높은 손실을 보였습니다. 이는 DABGO가 실제 영향력의 정의와 일치함을 확인시켜 줍니다.

소거 연구 (Ablation Studies):
그래디언트 상승과 하강을 분리하여 수행한 실험에 따르면, 상승만으로도 강력한 성능을 제공하지만, 두 방향을 모두 결합한 DABGO가 가장 높은 정확도를 달성함으로써 생성 작업에서 양방향 접근 방식의 필요성을 입증했습니다.

의의 및 주장

본 논문은 DABGO가 책임 있는 AI 시스템의 핵심 요구 사항인 모델 해석력을 높인다고 주장합니다. 개방형 생성을 훈련 데이터에 성공적으로 추적함으로써, DABGO는 다음을 가능하게 합니다:

피드백 루프 폐쇄: 훈련 데이터를 모델의 동작과 직접 연결하여 모델 디버깅 및 데이터 망각(unlearning)과 같은 응용을 가능하게 합니다.
기존 한계 극복: 큐레이션된 사실이나 단일 단어 예측에 제한되었던 이전 연구들과 달리, DABGO는 완전히 개방형인 생성 환경에서도 효과적으로 작동합니다.
투명성 제공: 토큰 수준에서 영향력을 귀속하는 능력은 사실적 기여와 문체적 뉘앙스를 구분하는 세밀한 해석력을 제공합니다.

저자들은 DABGO가 여전히 계산 비용이 많이 들며(코퍼스를 두 번 통과해야 함), 수천억 개의 토큰을 가진 산업 규모의 모델에는 현재 실용적이지 않다는 점을 언급하며 한계를 인정했습니다. 또한, DABGO는 영향력 있는 샘플을 식별하지만, 데이터 서브그룹 간의 시너지 효과나 적대적 상호작용을 고려하지 않으며, 관찰된 손실 변화를 넘어 특정 강조된 토큰의 인과적 역할을 확립하지도 않습니다. 그럼에도 불구하고, 이 연구는 추적 가능하고 감사 가능한 AI 시스템을 향한 중요한 진전입니다.