🤖 machine learning

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

이 논문은 LLM 정렬 데이터셋과 벤치마크에서 상충되거나 잘못 레이블링되었거나 안전하지 않은 레코드를 효율적으로 식별하고 제거하기 위해 샤플리 값(Shapley values)을 근사하는 확장 가능한 추론 전용 데이터 감사 파이프라인을 소개하며, 이를 통해 수동 감사 노력을 크게 줄이고 인간이 주석을 단 그라운드 트루스(ground truth)의 결정적인 결함을 드러낸다.

원저자: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

게시일 2026-07-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 도움이 되고, 안전하며, 정직한 인간 비서가 되는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 딱딱한 규칙을 프로그래밍하는 대신, 좋은 대화와 나쁜 대화의 사례 수백만 개를 보여주며 예시를 통해 배우게 합니다. 이것이 현대의 AI가 자신의 '성격'과 안전 필터를 얻는 방식입니다. 하지만 여기에는 함정이 있습니다. 로봇은 당신이 들려주는 이야기에 따라 결정된다는 점입니다. 만약 당신의 이야기책이 오타, 거짓말, 또는 혼란스러운 모순으로 가득 차 있다면, 로봇은 혼란에 빠져 이상하게 행동하기 시작할 것입니다.

오랫동안 이 이야기책들을 검사하는 것은 마치 산더미 같은 과일 속에서 나쁜 사과 하나를 찾기 위해 하나씩 살펴보는 것과 같았습니다. 그것은 느리고 비용이 많이 들었으며, 미세한 문제들을 놓치는 경우가 많았습니다. 과학자들은 어떤 이야기가 가장 중요한지 알아내기 위해 '샤플리 값(Shapley value)'이라 불리는 수학적 방법을 시도했지만, 이를 정확하게 계산하는 작업은 너무 무거워서 거대한 데이터 더미를 처리하기에는 영원히 걸릴 것 같았습니다. 핵심적인 질문은 이것입니다. 어떻게 하면 방대한 훈련용 책 전체를 다시 읽거나 로봇을 처음부터 다시 가르치지 않고도, 그 안에 숨겨진 실수, 혼란스러운 모순, 그리고 잘못된 조언들을 빠르게 찾아낼 수 있을까요?

이 논문은 '영향력 기반 데이터 감사 파이프라인(influence-based data auditing pipeline)'이라는 영리한 탐정 도구를 소개합니다. 이것은 책 전체를 다시 읽을 필요 없이 오류를 찾아내는 마법 돋보기와 같습니다. 연구진은 로봇을 다시 훈련시키는 대신, 일종의 묘수를 사용합니다. 그들은 로봇에게 이렇게 묻습니다. "내가 이 다음 이야기를 보여주기 전에 이 특정 이야기를 먼저 보여준다면, 그것이 너의 이해를 돕니, 아니면 너를 혼란스럽게 하니?"

연구진은 비슷한 이야기들을 그룹으로 묶은 다음, 이를 '틀린 그림 찾기' 게임처럼 테스트하는 시스템을 구축했습니다. 그들은 하나의 이야기를 가져와서 로봇에게 결말을 예측하게 합니다. 그런 다음, 유사한 이야기를 (힌트처럼) 먼저 보여주고 다시 결말을 예측하게 합니다. 만약 그 '힌트' 이야기가 로봇의 예측을 더 나쁘게 만든다면, 그것은 거대한 적신호입니다. 이는 두 이야기가 서로 충돌하고 있다는 뜻입니다. 예를 들어, 한쪽은 "항상 진실을 말하라"고 하고, 다른 한쪽은 "이 경우에는 거짓말을 해도 괜찮다"라고 말하는 식입니다.

연구팀은 이 도구를 두 개의 유명한 훈련 데이터 컬렉션에 테스트했습니다. 첫째로, 그들은 HelpSteer2라는 데이터셋을 살펴보았습니다. 그들의 도구는 수천 개의 기록 중에서 인간이 검사해야 할 목록을 99.1%까지 줄일 수 있음을 발견했습니다. 그들은 인간이 실제로 조작된 사실이 가득하거나 중요한 지시를 무시한 답변에 완벽한 점수를 준 숨겨진 오류들을 찾아냈습니다. 예를 들어, 로봇이 가짜 날짜와 가짜 학술 논문을 포함한 완벽해 보이는 에세이를 작성했을 때 칭찬을 받은 반면, 동일한 가짜 사실을 담은 유사한 에세이는 올바르게 처벌받은 사례를 발견했습니다. 이는 텍스트가 어떻게 보이는지에만 치중하여 내용의 사실 여부를 확인하지 않은 '피상성 편향(superficiality bias)'을 드러냈습니다.

다음으로, 그들은 로봇이 두 가지 답변 중 하나를 선택하도록 가르치는 데 사용되는 HH-RLHF 데이터셋을 감사했습니다. 그들은 인간이 '정답'이라고 선택한 답변이 실제로는 위험하거나 도움이 되지 않는 수천 개의 숨겨진 모순을 발견했습니다. 한 가지 무서운 예로, 한 인간 검토자는 단순히 설명을 요구하는 안전한 답변을 거부하는 대신, 누군가의 눈에 표백제를 붓는 장난을 제안하는 답변을 선택했습니다. 이 도구는 표준적인 검사에서는 놓쳤던 이러한 안전 위험을 포착해 냈습니다.

아마도 가장 놀라운 점은, 그들이 이 도구를 사용하여 로봇을 평가하는 시험(테스트 문제)을 점검했을 때, 시험 자체가 망가져 있었다는 사실입니다. 시험 문제 은행의 '정답'들이 자주 틀렸던 것입니다. 많은 경우, 가장 똑똑한 로봇들이 실제로 더 안전하고 더 나은 답변을 선택했음에도 불구하고, 인간이 작성한 답안지가 결함이 있었기 때문에 그 로봇들이 '틀렸다'고 표시되었습니다. 이는 AI 안전의 가장 큰 문제 중 일부가 로봇의 실패가 아니라, 테스트 자체가 불공정하다는 것임을 시사합니다.

저자들은 자신들의 수학적 도구가 검색 범위를 좁히는 데 매우 빠르고 효과적이지만, 특정 이야기가 정말로 잘못되었는지 판단하기 위해서는 여전히 인간(또는 매우 똑똑한 AI 판사)의 최종 결정이 필요하다는 점을 주의 깊게 밝히고 있습니다. 그들은 데이터를 직접 수정하지는 않았지만, 어디에 구멍이 났는지 정확히 보여주는 매우 효율적인 지도를 만들었습니다. 이는 연구자들이 모든 길을 일일이 달려가며 확인할 필요 없이, 정확히 어디에 곳곳에 함정이 있는지를 보여줌으로써 연구자들이 모든 길을 다 지나가며 조사해야 하는 수고를 덜어주었습니다. 이 방법을 사용함으로써, 그들은 방대한 데이터셋을 검사하는 작업을 수천 개의 항목을 살펴보는 것에서 단 몇십 개의 우선순위 높은 용의자를 찾는 것으로 줄였으며, 때로는 퍼즐 조각들이 서로 밀고 당기는 방식을 보는 것이 진실을 찾는 가장 좋은 방법임을 증명했습니다.

기술 요약: Shapley를 넘어: LLM 정렬 및 평가를 위한 영향력 기반 데이터 감사 파이프라인

문제 정의

대규모 언어 모델(LLM)의 정렬(Alignment)은 모델 아키텍처보다는 데이터 품질에 의해 점점 더 제약을 받고 있습니다. 데이터셋이 확장됨에 따라, 방대한 선호도 및 지시어 튜닝 코퍼스에는 숨겨진 구조적 모순, 안전성 위험, 그리고 체계적인 인간 주석 오류가 축적됩니다. 현재의 감사 방법들은 다음과 같은 상당한 한계에 직면해 있습니다:

의미론적 중복 제거(Semantic Deduplication): 텍xtual 중복은 효과적으로 찾아내지만, 개별 레코드의 기능적 유용성이나 예측적 영향력을 포착하는 데는 실패합니다.
LLM-as-a-Judge: 확장성은 높지만, 인간이 정의한 루브릭에 의존하며, 편향(예: 응답 길이에 대한 편향)을 보일 수 있고, 특정 레코드가 모델의 예측 분포에 어떻게 영향을 미치는지 수학적으로 결정할 수 없습니다.
Data Shapley: 엄격한 데이터 가치 산정 프레코임을 제공하지만, 대규모 데이터셋에 대해서는 계산 비용이 매우 높습니다( $O(2^N)$ ). 기존의 근사 방식들은 레코드 수준의 세밀함이 부족하거나(거친 그룹화 필요), 분류/회귀 작업에 국한되어 있어 생성형 LLM의 메커니즘을 다루지 못합니다.

모델 재학습이나 반복적인 데이터 샘플링을 요구하지 않으면서, 생성형 LLM을 위해 포인트 단위의 레코드 수준 데이터 가치를 산정할 수 있는 능력에 심각한 공백이 존재합니다.

방법론

저자들은 조건부 로그 가능도(conditional log-likelihood) 변화를 통해 데이터 포인트의 한계 기여도를 측정함으로써 샤플리 값(Shapley value)을 근사하는, 확장 가능한 추론 전용 데이터 가치 산정 파이프라인을 제안합니다. 워크플로우는 두 가지 주요 단계로 구성됩니다:

1단계: 영향력 측정

의미론적 이웃 구조 구축: 프롬프트는 밀집 벡터 공간(Qwen3-Embedding-4B 사용)으로 투영됩니다. 벡터 희석을 방지하기 위해 정적 시스템 지침은 제거됩니다. 코사인 유사도를 기반으로 $k$ -최근접 이웃( $k$ -NN) 그래프가 구축됩니다.
Zero-Shot 및 One-Shot 스코어링: 타겟 레코드 $(x_i, y_i)$ $(x_{i}, y_{i})$ 와 이웃 $(x_j, y_j)$ $(x_{j}, y_{j})$ 에 대해, 다음 두 가지 조건 하에서 타겟 응답 $y_i$ $y_{i}$ 의 조건부 로그 가능도를 계산합니다:
- 베이스라인 ( $LL_{base}$ ): 오직 $x_i$ 만 주어졌을 때 $y_i$ 의 확률.
- 프로브 ( $LL_{probe}$ ): $(x_j, y_j)$ 가 $x_i$ 이전에 원샷 데모니스트레이션으로 포함된 합성 프롬프트 하에서의 $y_i$ 의 확률.
영향력 계산: 예측 영향력( $\Delta LL$ )은 차이로 정의됩니다: $\Delta LL_{i,j} = LL_{probe}(i, j) - LL_{base}(i)$ . 양수의 $\Delta LL$ 은 건설적인 영향력을 나타내며, 음수의 값은 이웃이 타겟의 예측 확률을 저하시키는 행동적 모순을 시사합니다.
방향성 그래프 구축: 에지는 이웃에서 타겟으로 흐르는 영향력을 나타내고 $\Delta LL$ 에 의해 가중치가 부여되는 방향성 그래프 $G=(V, E)$ 가 구축됩니다.

2단계: 메트릭 도출 및 감사

그래프로부터 각 노드에 대해 세 가지 메트릭이 도출됩니다:

Exemplified Advantage (수동적 영향력): 레코드가 받는 총체적 영향력을 측정합니다. 높은 값은 중복성을 시사합니다.
Exemplifying Advantage (능동적 영향력): 레코드가 외부 이웃에게 행사하는 예측적 기여도를 측정합니다. 이는 1-shot 인컨텍스트 러닝을 파라미터 업데이트의 제로 그래디언트 대리물로 취급함으로써 Data Shapley 값을 근사합니다.
One of a Kind Score (위상적 유일성): $k$ -NN 검색의 비대칭성(이웃을 검색하지만 자신은 거의 검색되지 않는 레코드)을 기반으로 구조적 유일성을 정량화합니다.

모순 탐지 패러다임:

비지도 학습 (암묵적 라벨): Exemplified 또는 Exemplifying advantage가 임계값( $\tau_{adv}$ ) 미만인 노드를 플래그 처리하며, 특히 서로의 예측 확률을 상호 저하시키는 상호 최근접 이웃(MNN)을 탐색합니다.
지도 학습 (명시적 라벨): 보상 모델 데이터셋을 위한 2단계 프로세스입니다. 먼저, 부정적인 exemplifying advantage를 가진 "골드 스탠다드"(높은 인간 평가) 레코드를 격리합니다. 그 다음, 유사한 응답 행동을 가진 낮은 점수의 이웃을 찾아 주석자 간 불일치를 확인하는 "트윈 검증(Twin Verification)"을 수행합니다.

주요 기여

영향력 기반 가치 산정 프레임워크: 논문은 생성형 LLM을 위한 매우 확장 가능한 추론 전용 파이프십을 소개합니다. 기존 방식과 달리, 이 방식은 모델 재학습이나 클러스터링 없이 $O(K)$ (여기서 $K$ 는 이웃 크기) 번의 순방향 패스(forward pass)로 작동하며, 개방형 생성 및 쌍별 선호도 데이터에 일반화됩니다.
구조적 모순 탐지: 이 파이프라인은 표준 유사도 메트릭이 놓치는 널리 사용되는 데이터셋(HelpSteer2 및 HH-RLHF)의 숨겨된 구조적 모순을 밝혀냅니다. 이는 인간이 높은 점수를 주었음에도 불구하고 모델 성능을 저하시키는 구조적 오류(예: 사실적 환각, 무시된 제약 조건)를 은폐하고 있는 레코드를 식별합니다.
벤치마크 취약성 폭로: HH-RLHF의 평가 분할(evaluation split)을 감사함으로써, 본 연구는 매우 유능한 모델들이 객관적으로 결함이 있는 인간의 그라운드 트루스 라벨에 의해 오히려 처벌받는 현상을 보여주며, 현재 벤치마크의 무결성에 대한 취약성을 드러냅니다.

실험 결과

파이프라인은 Qwen3.5-9B를 타겟 모델로, Gemini 3.1 Pro를 전문가 중재자로 사용하여 두 가지 데이터셋에 대해 평가되었습니다.

사례 연구 1: HelpSteer2

프로세스: 21,362개의 레코드에 적용되었으며, 완벽한 인간 도움 점수(4/4)를 가진 8,434개 레코드에 집중했습니다.
효율성: 수동 감사 탐색 범위를 99.1% 감소시켰습니다 (8,434개 레코드에서 77개의 후보 쌍으로).
결과: 18개의 모순 쌍과 10개의 고유한 오류 레코드를 식별했습니다. 오류 유형에는 사실적 환각(예: 잘못된 날짜), 무시된 형식 제약, 조작된 학술 인용 등이 포함되었습니다.
통찰: 구조적으로는 타당하지만 사실적으로는 허구적인 텍스트가 높은 점수를 받는 "피상성 편향(superficiality bias)"을 드러냈습니다.

사례 연구 2: HH-RLHF

훈련 데이터 감사: 4,238개의 모순과 2,841개의 고유한 문제적 레코드를 식별했습니다. 카테고리에는 안전 위반(예: 독성 준수를 보상함), 환각, 무익한 회피, 구조적 실패가 포함되었습니다.
평가 데이터 감사: 평가 분할에 적용하여 확인된 구조적 모순을 가진 108개의 고유 레코드를 격리했습니다.
모델 불일치: 이러한 격리된 "결함 있는" 레코드에 대해 테스트했을 때, 모델의 불일치율이 베이스라인에 비해 크게 급증했습니다:
- Qwen3.5-9B (FT): 불일치율이 28.9%(전체 세트)에서 62.04%(검증된 서브셋)로 상승했습니다.
- Qwen3.5-27B: 불일치율이 28.67%에서 **75.00%**로 상승했습니다.
- Gemma3-12B: 불일치율이 38.34%에서 **63.89%**로 상승했습니다.
결론: 높은 불일치율은 모델이 올바른 행동을 예측하고 있었음에도 불구하고, 벤치마크 라벨이 객적으로 결함이 있었음을 확인시켜 줍니다.

의의 및 한계

의의:
본 논문은 인간 라벨의 실패를 발견하고 평가 벤치마크를 정화하기 위한 수학적으로 근거가 있고 효율적인 진단 도구를 제공합니다. 이는 계산 비용이 많이 드는 재학습 기반의 Shapley 계산에서, 레코드 수준의 세밀함을 유지하면서도 실행 가능한 추론 전용 접근 방식으로 패러다임을 전환합니다. 이를 통해 체계적인 주석 오류를 신속하게 식별하고 벤치마크의 무결성을 검증할 수 있습니다.

한계:

검증 의존성: 최종 검증은 LLM 평가자(예: Gemini)에 의존하며, 이는 주관적 편향과 비결정성을 도입할 수 있습니다.
필터 vs 탐지기: $\Delta LL$ 메트릭은 탐색 범위를 약 99% 줄여주는 '이상치 필터' 역할을 하지만, 여전히 의미론적 규칙 충돌을 확인하기 위한 중재자가 필요합니다.
정밀도 vs 재현율: 엄격한 임계값은 정밀도를 우선시하므로, 파이프라인이 모든 데이터셋 오류를 포착하지는 못합니다(예: HH-RLHF에서 격리된 108개의 오류가 베이스 모델의 전체 ~30% 불일치율을 모두 설명하지는 못함).
인간 그라운드 트루스의 확장성: 주석 오류에 대한 대규모 인간 그라운드 트루스를 확립하는 것은 여전히 비용이 매우 많이 들며, 이는 파이프라인의 재현율(recall)을 완전히 검증하는 데 한계로 작용합니다.