💬 NLP

Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

이 논문은 구조적으로 정보가 반영된 작은 모델 구성 요소의 부분 집합을 탐욕적으로 선택하는 것이 대규모 언어 모델의 인스턴스 기반 설명을 생성하는 데 있어 전체 그래디언트나 무작위 투영을 사용하는 것보다 더 효과적이고 계산 효율적임을 입증한다.

원저자: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

게시일 2026-07-31

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 매우 똑똑한 로봇이 왜 특정한 결정을 내렸는지 이해하려고 노력 중이라고 상상해 보세요. 당신은 그 로봇이 방대한 도서관의 책들을 학습했다는 것을 알고 있지만, 어떤 특정 책이 그 특정한 사실을 가르쳐 주었을까요? 이것이 바로 인공지능 분야의 '인스턴스 기반 설명(instance-based explanations)'의 세계입니다. 과학자들은 로봇의 답변을 그 영향을 준 정확한 학습 사례로 추적하고자 하며, 이는 마치 지문을 찾는 탐정처럼 정교한 작업입니다. 이를 위해 그들은 보통 로봇의 '그래디언트(gradients)'를 살펴봅니다. 그래디언트를 특정 문장을 보았을 때 로봇의 두뇌가 어떻게 변할지를 보여주는 거대하고 다차원적인 지도라고 생각하세요. 문제는 현대의 로봇들(대규모 언 모델, LLM이라 불리는)에게 이 지도는 너무나 거대해서 들고 다니는 것 자체가 불가능하다는 점입니다. 표준 모델 하나에 대한 단일 지도는 4기가바이트 이상의 메모리를 차지하며, 이는 영화 파일 한 편보다도 많습니다! 이 때문에 연구자들은 이 지도를 관리 가능한 수준으로 줄여야만 합니다. 그들은 두 가지 주요 기술을 시도해 왔습니다. 대부분의 지도를 버리고 몇 개의 무작위 조각만을 남기거나, 혹은 지도 전체를 아주 작고 흐릿한 요약본으로 찌그러뜨리는 방식입니다. 하지만 어떤 기술이 탐정이 올바른 책을 찾는 데 실제로 더 도움이 되는지는 아무도 알지 못했습니다.

"Select or Project?"라는 제목의 이 논문은 이 미스터리를 해결하기 위해 설정되었습니다. 저자인 루카스 힌터라이트너(Lukas Hinterleitner)와 비엔나 대학교 팀은 '선택(Selection)'하는 것이 나은지, 아니면 수학적으로 두뇌 전체를 더 작은 공간으로 '투영(Projection)'하는 것이 나은지 알아보기 위해 새로운 테스트 환경을 구축했습니다. 그들은 영리한 게임을 통해 이를 테스트했습니다. 문장을 다른 방식으로 재구성한 뒤, 로봇의 '그래디언트'가 수많은 닮은꼴 사이에서 원래의 문장을 찾아내도록 한 것입니다. 만약 그래디언트가 훌륭하다면, 그것은 원래의 문장을 똑바로 가리켜야 합니다.

결과는 놀라웠습니다. 연구팀은 전체 지도의 형태를 유지하려는 '찌그러뜨리기' 방식(Random Projection)이 최고의 탐정이 아니라는 것을 발견했습니다. 대신, 그들이 '그리디 선택(Greedy Selection)'이라고 부른 방법이 게임에서 승리했습니다. 이 접근 방식은 도서관 전체를 읽지는 않지만, 가장 중요한 단서가 담긴 세 개의 선반이 정확히 어디인지 알고 있는 영리한 사서와 같습니다. 로봇의 내부 부품 중 특정 부분(구체적으로 논리와 단어 연결을 처리하는 특정 레이어들)을 신중하게 선택함으로써, 그들은 작고 매우 날카로운 지도를 만들어냈습니다. 실험에서 이 표적 선택 방식은 올로한 학습 사례를 찾는 데 있어 더 정확했을 뿐만 아니라, 계산 속도도 훨씬 빠르고 비용도 저렴했습니다.

여기 결정적인 사실이 있습니다. 로봇의 두뇌인 전체 지도가 이 작은 선택된 부분집합보다 오히려 성능이 떨어졌다는 점입니다. 프롬프트를 재구성하여 새로운 이야기를 생성해야 하는 한 어려운 테스트에서, 전체 지도는 정답을 맞힐 확률이 약 22%에 불과했습니다. 이는 거의 찍는 것과 별 차이가 없는 수준입니다. 그러나 선택된 작은 그룹은 약 36%의 정답률을 기록했습니다. 저자들은 전체 지도가 너무 많은 추가 정보로 가득 차 있어 진짜 단서를 가려버리는 '노이즈(noise)'가 많다고 제안합니다. 가장 정보가 풍부한 조각들만을 선택함으로써, 그들은 노이즈를 제거하고 더 명확한 신호를 얻어낸 것입니다.

논문은 또한 로봇의 두뇌 중 어떤 부분이 최고의 탐사 역할을 했는지도 살펴보았습니다. 그들은 그것이 부품의 크기에 관한 문제가 아니라, 그 부품이 '무엇을 하는가'에 관한 문제임을 발견했습니다. 로봇의 내부 논리를 담당하는 부분(MLP 레이어)이 특정 단어에 주의를 기울이는 부분(Attention 메커니즘의 'Key'와 'Value' 부분 같은 곳)보다 올바른 학습 데이터를 찾는 데 훨씬 더 유용했습니다. 흥ably하게도, 로봇의 처리 과정 맨 앞부분과 맨 뒷부분에 있는 부품들이 가장 도움이 되었던 반면, 중간 부분들은 혼란을 겪으며 유용성이 떨어지는 것으로 나타났습니다.

결론적으로, 저자들은 이 거대한 AI 모델이 어떻게 작동하는지 설명하기 위해서 우리는 전체 그림이 필요하지 않다고 결론짓습니다. 우리에게 필요한 것은 단지 '올바른 몇 개의 조각'입니다. 그들의 '그리디 선택' 전략은 수백 시간 동안 돌아가는 슈퍼컴퓨터 없이도 이러한 설명을 가능하게 만드는 실용적이고 효율적인 방법입니다. 비록 그들이 약 12억 개의 파라미터를 가진 특정 모델을 대상으로 테스트했지만, 그들의 발견은 AI 투명성의 미래를 위해, 모든 것을 유지하려 하기보다 까다롭게 고르고 선택하는 것이 훨씬 더 낫다는 점을 시사합니다.

기술 요약: 선택인가 투영인가? LLM 학습 데이터 설명을 위한 저차원 벡터 평가

문제 정의
대규모 언어 모델(LLM)의 인스턴스 기반 설명을 위한 그래디언트 기반 방법론은 모델 그래디언트의 방대한 차원으로 인해 심각한 계산 장벽에 직면해 있다. 10억 개의 파라미터를 가진 모델의 경우, 단일 그래디언트 벡터는 4GB 이상의 메모리를 필요로 하며, 이는 전체 그래디언트 분석을 실행 불가능하게 만든다. 현재의 관행은 계산 가능성을 확보하기 위해 모델 파라미터의 특정 부분 집합(예: 특정 레이어 또는 LoRA 어댑터)으로 영향력 추정을 제한하곤 한다. 그러나 이러한 부분 집합은 체계적인 근거 없이 임의로(ad hoc) 선택되는 경우가 많다. 또한, 랜덤 투영(random projection)과 같은 대안적인 차원 축소 기법들이 사용되고 있으나, 구조를 인지한 선택 전략(architecture-aware selection strategies)과의 비교 평가가 부족한 실정이다. 핵심 문제는, 학습 데이터의 영향력을 포착하기 위해 전체 고차원 그래디언트를 저차원 공간으로 **투영(project)**하는 것이 더 효과적인지, 아니면 모델 구성 요소의 희소하고 구조적으로 정보가 있는 부분 집합을 **선택(select)**하는 것이 더 효과적인지를 결정하는 것이다.

방법론
저자들은 차원 축소 전략을 평가하기 위한 새로운 재학습 불필립(re-training-free) 벤치마크를 제안한다. 이 평가는 검색 작업(retrieval task)의 틀을 활용한다. 즉, 테스트 인스턴스(구체적으로는 훈련 샘플의 패러프레이징된 버전 또는 모델이 생성한 완성문)가 주어졌을 때, 시스템은 그래디언트 유사도를 바탕으로 일련의 방해 요소(distractors) 중에서 원래의 훈련 예시를 식별해야 한다.

그래디언트 표현: 본 연구는 모델 파라미터에 대한 손실 그래디언트( $\nabla_\theta L$ )를 활용한다. 전체 그래디언트는 구성 요소별 그래디언트(예: query, key, value 투영, MLP 게이트)를 하나의 벡터로 평탄화(flattening)하여 구축된다.
평가 설정:
- 데이터셋: 저자들은 Tülu 2 데이터셋의 LIMA 서브셋을 사용한다. 두 가지 쿼리 세트를 생성한다: 의미를 보존하면서 프롬프트를 재구성하기 위해 GPT-4o-mini를 사용한 패러프레이즈(Paraphrased) 세트( $D_p$ ), 그리고 파라미터화된 프롬프트에 대해 미세 조정된 모델이 생성한 결과물인 모델 생성(Model-Generated) 세트( $D_m$ ).
- 지표: 쿼리 그래디언트와 원래 훈련 샘플의 그래디언트 사이의 코사인 유사도가 BM25를 통해 선택된 방해 요소들과의 유사도보다 높은지 확인하여 검색 정확도를 측정한다.
비교 전략:
- 전체 그래디언트 (Full Gradient): 전체 파라미터 세트를 사용하는 베이스라인.
- 랜덤 투영 (Project): 전체 그래디언트를 거대한 행렬을 직접 생성하지 않고 구성 요소별로 구현된 랜덤 행렬을 사용하여 저차원 공간( $d \ll M$ )으로 투영한다. 이는 전체 그래디언트의 기하학적 구조를 보존한다.
- 탐욕적 구성 요소 선택 (Select): 모델 구성 요소의 부분 집합(파라미터 예산까지)을 반복적으로 선택하여 검색 정확도를 최대화하는 구조 인지 알고리즘이다. 이는 고차원 벡터를 저장하지 않고도 사전 계산된 스칼라 값으로부터 유사도 점수를 재구성하기 위해 내적의 선형성을 활용한다.

주요 기여

새로운 벤치마크: 서로 다른 저차원 표현이 어떻게 원본 훈련 예시의 식별을 지원하는지 테스트하기 위해 설계된 효율적인 검색 기반 벤치마크를 도입하였다.
원칙적인 비교: 구조를 인지한 탐욕적 선택(greedy selection)을 기하학을 보존하는 랜덤 투영 및 전체 그래디언트 베이스라인과 체계적으로 비교하였다.
효율성 및 정확도 입증: 타겟팅된 구성 요소 선택이 랜덤 투영보다 더 정확한 속성 부여(attribution)를 생성하며 훨씬 더 계산 효율적임을 실증적으로 보여주었다.

결과

전체 그래디언트의 한계: 패러프레이즈 환경에서는 성능이 우수하지만(정확도 0.993), 더 까다로운 모델 생성 환경에서는 성능이 급격히 하락하여(정확도 0.218) 무작위 선택(0.20)보다 겨우 나은 수준에 그쳤다.
구성 요소의 분산: 모든 구성 요소가 동일하게 기여하는 것은 아니다. 모델 생성 환경에서 MLP 게이트 및 업 프로젝션(up projections)이 가장 정보가 많은 신호를 운반하는 반면, 어텐션 키(key) 및 값(value) 투영은 기여도가 낮거나 무작위 선택보다 성능이 떨어졌다. 파라미터 수와 성능은 선형적인 상관관계를 갖지 않으며, 기능적 역할이 더 결정적인 요인이다.
선택 vs 투영:
- 정확도: 탐욕적으로 선택된 구성 요소 부분 집합(전체 파라미터의 5% 미만 사용)은 패러프레이즈 환경에서 완벽에 가까운 정확도(0.998)를 달ink하며, 모델 생성 환경에서도 전체 그래디언트(0.218)보다 유의미하게 높은 성능(0.36)을 보인다.
- 기하학 vs 유용성: 랜덤 투영은 전체 그래디언트의 전역적 기하학을 효과적으로 보존하지만(전체 그래디언트 점수에 대한 높은 코사인 유사도), 이러한 높은 충실도가 최적의 검색 정확도로 이어지지는 않는다. 특정 검색 작업에 대한 구체적인 유용성에 기반하여 구성 요소를 선택하는 것이 전역적 기하학을 보존하는 것보다 우월하다.
계산 효율성: 탐욕적 선택 방법은 상당히 더 효율적이다. 내적을 사전 계산하는 데 약 4시간이 소요되었으나, 선택 과정은 몇 분 만에 완료되었다. 반면, 랜덤 투영 베이스라인은 거대한 벡터를 투영하는 계산 집약성 때문에 (캐싱 없이) 900시간 이상이 소요되었다.

의의 및 주장
본 논문은 대규모 모델의 인스턴스 기반 설명을 위해 타겟팅된 구성 요소 선택이 랜덤 투영이나 전체 그래디언트를 사용하는 것보다 실용적이고 우수한 전략이라고 주장한다. 핵심 통찰은 정교하게 선택된 희소한 모델 구성 요소의 부분 집합이 전체의 노이즈 섞인 그래디언트보다 특정 작업에 대해 더 명확하고 변별력 있는 신호를 제공할 수 있다는 것이다. 이 접근 방식은 속성 부여의 정확도를 희생하지 않으면서(오히려 향상시키면서) 대규모 모델에 대한 인스턴스 기반 설명을 더욱 계산 가능하게 만든다. 저자들은 영향력 추정을 구조적으로 정보가 있는 부분 집합으로 제한하는 것이 유효한 경로이며, 이는 전체 그래디언트가 최적의 정보원이라는 가설에 도전하는 것이다.

본 연구는 모델 크기(1.2B 파라미터)와 평가의 정적인 특성(단일 체크포인트 사용)에 따른 한계를 언급하며 규모가 작음을 인정한다. 저자들은 향-후 연구에서 다양한 아키텍처, 규모, 그리고 훈련 과정 전반을 추적하는 동적 속성 부여 방법론에 대한 일반화를 탐구해야 한다고 제안한다.

유사한 논문