🤖 machine learning

Bergson: An Open Source Library for Data Attribution

Bergson은 EleutherAI가 개발한 오픈 소스 라이브러리로, 온디스크(on-disk) 그래디언트 저장, 멀티 노드 분산 학습을 네이티브로 지원하고 MAGIC, SOURCE, TrackStar 방법론의 첫 번째 오픈 소스 구현체를 제공함으로써 대규모 언어 모델과 사전 학습 데이터셋에 대한 데이터 기여도 산출 기술을 확장합니다.

원저자: Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

게시일 2026-06-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 믿을 수 없을 정도로 똑똑한 로봇 요리사를 만들었다고 상상해 보세요. 이 요리사는 수백만 권의 요리책을 읽으며 요리를 배웠습니다(학습 데이터). 때때로 이 요리사는 맛이 아주 없는 음식을 만들거나, 배우지 말아야 할 이상한 기술을 익히기도 합니다. 당신은 다음과 같이 알고 싶어 합니다. "도대체 어떤 요리책의 몇 페이지가 이 문제를 일으킨 것인가?"

이것이 바로 데이터 귀속(Data Attribution) 문제입니다. 이는 마치 완성된 수프의 특정 풍미를 찾기 위해 3시간 전에 넣었던 소금 한 꼬집을 추적하는 것과 같습니다.

이 논문은 연구자들이 이러한 추적 문제를 거대 AI 모델에 대해 해결할 수 있도록 설계된 새로운 오픈 소스 "주방 도구 세트"인 Bergson을 소개합니다. 다음은 쉬운 비유를 사용한 작동 원리입니다.

1. 문제점: "블랙박스" 주방

보통 AI가 학습할 때는 블랙박스와 같습니다. 데이터를 넣으면 모델이 나옵니다. 만약 모델이 이상한 행동을 하면, 그 이유를 쉽게 알 수 없습니다.

과제: 현대의 AI 모델은 너무 거대해서(수십억 권의 책이 있는 도서관처럼), 학습 과정이 매우 복잡하기 때문에 어떤 "책"이 특정 행동을 유발했는지 파악하는 것은 매우 어렵습니다. 예전에는 이를 수행하기 위해 엄청난 양의 컴퓨터 메모리가 필요했기에 대규모 모델에는 불가능에 가까웠습니다. 또한, 이를 수행하는 가장 좋은 도구들 중 상당수는 폐쇄적인 환경(비공개)에 갇혀 있었습니다.

2. 해결책: Bergson 도구 세트

Bergson은 AI를 위한 초강력 탐정 키트 역할을 하는 라이브러리(소프트웨어 도구 모음)입니다. 이 도구는 연구자들이 AI의 학습 과정을 "되감기"하여 어떤 데이터 포인트가 가장 큰 영향을 미쳤는지 볼 수 있게 해줍니다.

이것은 학습 과정에 대한 타임머신 카메라라고 생각하면 됩니다. Bergson은 과거를 되돌아보는 세 가지 방법을 제공합니다.

"완벽한 재생" (MAGIC): 요리사의 학습 과정을 매 초마다 기록할 수 있다고 상상해 보세요. 그런 다음 "되감기"를 눌러 단계별로 정확하게 재생하여 정확히 무슨 일이 일민지 볼 수 있습니다. 이것이 가장 정확한 방법이지만, 많은 저장 공간이 필요합니다. Bergson은 공간을 절약하면서도 선명한 이미지를 유지하기 위해, 특정 순간에만 "스냅샷(체크포인트)"을 저장하고 그 사이의 간극을 수학적으로 채우는 영리한 트릭을 사용하여 거대 모델에서도 이를 가능하게 합니다.
"스냅샷 근사치" (SOURCE): 가끔은 매 초를 기록할 수 없습니다. 대신 한 시간마다 사진을 찍습니다. 요리사가 사진을 찍는 사이에는 크게 변하지 않았다고 가정하는 것입니다. 이 방법은 더 빠르고 메모리를 적게 사용하지만, 정확도는 조금 떨어집니다. Bergson은 이 방법도 포함하고 있습니다.
"지문 스캐너" (TrackStar & Influence Functions): 영화 전체를 되감는 대신, 마지막에 모델의 뇌에 남겨진 "지문"을 살펴봅니다. "만약 이 특정 재료를 제거한다면, 최종 결과물이 얼마나 변할까?"라고 묻는 방식입니다. 매우 빠르고 거대한 데이터셋에서도 잘 작동하지만, 완벽한 재생이라기보다는 추정치입니다.

3. 도구 세트의 주요 특징

논문은 이 도구 세트를 사용하기 쉽게 만드는 여러 가지 "삶의 질(quality of life)" 기능을 강조합니다.

"디스크 드라이브" 트릭: 모든 데이터를 컴퓨터의 작고 빠른 메모리(RAM)에 담으려고 하는 대신, Bergson은 "지문"을 하드 드라이브에 저장합니다. 덕분에 컴퓨터가 다운되지 않고도 거대한 모델을 분석할 수 있습니다.
"검색 엔진" (FAISS): "어떤 데이터가 이 오류를 일으켰는가?"라고 물었을 때, Bergson은 모든 책을 하나씩 다 확인하지 않습니다. 대신 초고속 검색 엔진(데이터를 위한 구글 같은 역할)을 사용하여 가장 가능성 높은 상위 10개의 범인을 즉시 찾아냅니다.
"어댑터" 지름길: 때로는 요리사 전체를 다시 훈련시킬 필요 없이, 레시피의 작은 부분만 수정하면 될 수도 있습니다. Bergson은 "LoRA(Low-Rank Adaptation)"를 지원하여, 모델에 추가된 작은 부분의 영향만을 추적할 수 있게 함으로써 과정을 훨씬 저렴하고 빠르게 만듭니다.
"판사" 기능: 만약 요리사가 왜 무례하게 구는지 알고 싶다면 어떻게 할까요? "무례함"은 단순한 수학 공식으로 측정할 수 없습니다. Bergson은 두 번째 AI(판사)를 사용하여 요리사의 행동을 평가하게 하고, 그 평가를 학습 데이터로 역추적할 수 있게 해줍니다.

4. 실제 테스트 내용 (사례 연구)

저자들은 단순히 도구를 만든 것이 아니라, 이를 사용하여 세 가지 특정 퍼즐을 해결했습니다.

"생물 보안(Biosecurity)" 퍼즐: 그들은 AI에게 위험한 생물학적 지식(예: 바이러스 제조법)을 가르친 학습 데이터 내의 특정 단어들을 찾고자 했습니다. 그들은 Bergson을 사용하여 특정 단어들을 강조해 냈습니다. 그 후 해당 단어들을 무시하고 AI를 재학습시켰을 때, AI는 훨씬 더 안전해졌습니다.
"무례한 로봇" 퍼즐: 그들은 "판사" 기능을 사용하여 AI가 부적절하거나 이상한 행동을 생성하게 만든 데이터를 찾았습니다. 이 데이터를 필터링함으로써, AI가 더 나은 행동을 하도록 만들었습니다.
"스타일" 퍼즐: 그들은 AI가 사실(예: "앨리스는 페르미랩에서 근무한다")과 그것을 말하는 방식(예: 셰익스피어풍 영어 vs 법률 용어)을 별도로 학습했는지 알고 싶었습니다. 그들은 Bergson이 스타일을 무시하고 사실을 가르친 특정 학습 데이터를 성공적으로 찾아냈음을 발견했으며, 이는 도구가 "무엇"을 배웠는지와 "어떻게" 말하는지를 구분할 수 있음을 증명합니다.

5. 결론

논문은 Bergson이 현재 존재하는 가장 거대한 AI 모델들에 대해 이러한 "타임머신" 추적 작업을 수행할 수 있는 최초의 오픈 소스 라이브러리라고 주장합니다. 이는 가장 정확한 방법(완벽한 재생)과 가장 빠른 방법(지문 스캔)을 결합하며, 연구자들에게 AI를 디버깅하고 이해하며 데이터를 정제할 수 있는 도구를 제공합니다.

요약하자면, Bergson은 "AI가 왜 저러는 걸까?"라는 미스터리를 해결 가능한 탐정 소설로 바꿉니다.

기술 요약: Bergson: 데이터 귀속을 위한 오픈 소스 라이브러리

문제 정의

데이터 귀속(Data attribution)은 개별 학습 항목이 특정 모델 출력에 미치는 인과적 효과를 결정함으로써 모델의 동작을 설명하는 것을 목표로 한다. 이 분야는 디버깅, 데이터셋 큐레이션, 그리고 암기 또는 추론 과정을 이해하는 데 응용될 수 있으나, 이러한 기술을 현대적인 대규모 언어 모델(LLM)로 확장하는 데는 상당한 엔지니어링 과제가 따른다. 데이터 귀속 방법을 나이브하게 적용하면, 특히 대규모 사전 학습 데이터셋이나 멀티 노드 지원이 필요한 모델을 다룰 때 비현실적인 메모리 요구 사항이 발생한다. 또한, 높은 Leave-One-Out (LOO) 상관관계를 달성하는 최신 방법론 중 상당수가 오픈 소스 구현체가 없어 재현성과 발전을 저해하고 있다.

방법론 및 라이브러리 아키텍처

Bergson은 구성 가능하고 확장 가능한 아키텍처를 제공함으로써 데이터 귀속 분야의 빠른 발전을 가능하게 하기 위해 설계된 오픈 소스 라이브러리로 소개된다. 이 라이브러리는 전체 학습 궤적(full training trajectories)을 통한 미분, 근사화된 언롤드 미분(approximate unrolled differentiation), 그리고 영향 함수(influence functions)를 포함한 광범위한 기술을 지원한다.

핵심 구성 요소

구성 가능한 파이프라인 (Composable Pipeline): Bergson은 헤시안 근사(Hessian approximations), 정규화 도구(normalizers), 인덱스 빌더(index builders), 귀속 스코어러(attribution scorers)와 같은 컴포넌트들이 상호 운용 가능한 데이터 파이프라인 아키텍처(그림 1)를 활용한다. 워크플로우는 명령줄 인터페이스(CLI)를 통해 정의하거나 YAML 설정 파일을 사용하여 프로그래밍 방식으로 정의할 수 있다.
그래디언트 저장 및 인덱싱: 라이브러리는 모듈별(분할 어텐션 헤드 포함)로 인덱싱된 온디스크(on-disk) 그래디언트 저장소를 지원하며, 토큰 단위 또는 시퀀스 단위의 수집을 지원한다. 대규모 인덱스를 처리하기 위해 Bergson은 근사 최근접 이웃(ANN) 검색을 위한 FAISS와 통합되어 있으며, 동시에 정확한 top-k 검색도 지원한다.
분산 학습: Bergson은 최대 4,050억 개의 파라미터를 가진 모델까지 귀속 분석을 확장할 수 있도록 복제 및 샤딩 병렬성(DDP, FSDP)을 구현한다. 이는 FSDP 그룹이 데이터셋 샤드를 독립적으로 처리할 수 있는 멀티 노드 운영을 지원한다.
PEFT 통합: PEFT 라이브러리와의 네이티브 통합을 통해 어댑터 파라미터(예: LoRA)에 국한된 데이터 귀속을 허용하며, 이를 통해 예시당 그래디언트 풋프린트를 수십 배 이상 줄일 수 있다.
비미분 목적 함수 (Non-Differentiable Objectives): LLM-as-a-judge를 통해 평가되는 작업의 경우, Bergson은 그룹 상대 정책 최적화(GRPO) 손실을 통한 귀속을 지원하여 표준 교차 엔트로피 손실이 포착하지 못하는 동작을 귀속할 수 있게 한다.

구현된 알고리즘

Bergson은 다음 세 가지 주요 방법론에 대한 최초의 오픈 소스 구현을 제공한다:

MAGIC: 체크포인팅을 사용하여 언롤드 학습 루프를 통한 정밀 미분을 수행하는 알고리즘이다. $O(N \log N)$ 의 계산량과 $O(\log N)$ 의 디스크 공간(또는 새로운 $O(N)$ 계산량/ $O(\sqrt{N})$ 디스크 공간 트레이드오프)을 달성한다.
SOURCE: 학습 궤적을 여러 세그먼트로 나누고, 각 세그먼트 내에서 헤시안과 그래디언트를 상수로 취급하는 근사 언롤드 미분 방식이다.
TrackStar: 무작위 투영(random projections)을 사용하여 예시별 그래디인트를 저차원 공간으로 투영하고 자기상관 헤시안 근사(autocorrelation Hessian approximations)를 활용하는 확장 가능한 영향 함수 근사 방법이다.

또한 라이br리는 표준 영향 함수 변형들(K-FAC, EK-FAC, TK-FAC/Shampoo)과 그래디언트 정규화 전략(Adam, Adafactor, unit normalization)을 지원한다.

주요 기여

오픈 소스 구현: Bergson은 MAGIC, SOURCE, TrackStar의 첫 번째 공개 구현을 도입하여 최첨단 데이터 귀속 방법론을 위한 도구의 공백을 메운다.
확장성: 이 라이브러리는 빌리언 단위 파라미터 모델과 방대한 데이터셋을 처리할 수 있도록 설계되었으며, 온디스크 그래디언트 저장소, FAISS 통합, 멀티 노드 분산 학습을 지원한다.
방법 선택 가이드: 본 논문은 자원 제약, 쿼리 볼륨, 정밀도 요구 사항(예: 안전이 중요한 필터링에는 언롤드 미분을, 고빈도 디버깅에는 압축된 인덱스를 권장)에 따라 실무자가 방법을 선택할 수 있는 가이드를 제공한다.
평가 프레임워크: Bergson은 선형 데이터 모델링 점수(LDS) 및 top-k/bottom-k 필터링을 위한 변형들을 이용한 검증 도구를 포함하며, leave-k-out 재학습 실험 지원도 제공한다.

실험 결과

본 논문은 여러 검증 실험과 사례 연구를 제시한다:

정확도 검증: WikiText-2로 미세 조정된 GPT-2 (124M) 모델에 대해, MAGIC(언롤드 미분)은 실제 leave-one-out 효과와 가장 높은 Spearman 상관관계(0.979)를 달성했으며, EK-FAC(0.318)와 TrackStar(0.164)가 그 뒤를 이었다. 그러나 정렬된 서브셋 leave-k-out 평가(데이터 필터링에 더 적합한 방식)에서는 모든 방법이 0.7 이상의 상관관계를 기록했다.
토큰 수준 귀속 (생물 보안): WMDP Bio 벤치마크를 사용하여, 저자들은 LoRA로 7B 모델을 미세 조정하고 per-token 언롤드 미분을 사용하여 영향력 있는 토큰을 식별했다. 영향력이 높은 상위 10% 토근에 중요도 가중치를 높여 재학습한 결과, 가중치를 주지 않은 재학습에 비해 평가 정확도가 1.5 퍼센트 포인트 추가 향상되었다.
스타일 간 사실 추적: "셰익스피어풍" 대 "법률 문체"로 작성된 전기적 사실을 다루는 합성 실험에서, TrackStar는 raw gradient inner product 베이스라인의 0.80%와 비교하여 상위 5개 결과 중 15.26%에서 올바른 사실의 출처를 찾아냈다. 또한 TrackStar는 "스타일 누출"(사실의 출처가 아닌 쿼리의 스타일을 따르는 현상)을 유의미하게 감소시켰다.
확장 성능: 그래디언트 수집 시간은 160M에서 12B 파라미터 규모의 모델에 대해 FSDP 및 데이터 병렬성 전략을 활용하여 통신 오버헤드를 최소적으로 유지하면서, GPU 수(1개에서 16개의 A100까지)에 따라 효율적으로 확장된다.

의의 및 주장

저자들은 Bergson이 통합되고 확장 가능한 인프라를 제공함으로써 데이터 귀속 연구의 진입 장벽을 낮춘다고 주장한다. MAGIC, SOURCE, TrackStar의 첫 구현을 제공함으로써, 이 라이브러리는 이전에는 접근이 불가능했거나 상당한 엔지니어링 노력이 필요했던 최첨단 기술을 실무자들이 실험할 수 있게 한다.

본 논문은 효과적인 데이터 귀속이 모델의 행동을 이해하고, 예상치 못한 생성 동작을 디버깅하며, 안전 및 정렬을 위한 학습 데이터셋을 큐레이션하는 데 도움을 줄 수 있음을 강조한다. 저자들은 데이터 큐레이션이 양면적(행동을 증폭하거나 감소시킬 수 있음)이지만, 데이터 귀속의 특이성은 관련 데이터를 정밀하게 타겟팅할 수 있게 함으로써 정렬 및 안전 노력에 차별적인 이득을 줄 것으로 기대한다고 언급한다. 이 라이브러리는 특히 과거에는 분석이 불가능했던 대규모 모델의 맥락에서, 더 많은 연구자가 데이터 귀속을 통해 흥미로운 모델 행동을 연구할 수 있도록 돕는 도구로 자리매김하고 있다.