🤖 machine learning

The Moving Target: A Longitudinal Audit of Trustworthiness Drift Across Twelve Checkpoints of Open-Source Chat LLMs

이 논문은 네 가지 오픈 소스 LLM 릴리스 라인에 대한 종단적 감사를 통해 신뢰도 점수가 연속적인 체크포인트에 걸쳐 유의미하게 표류한다는 것을 입증하며, 이러한 지표들이 재측정 없이 그대로 이어지는 정적 속성이 아니라 시점이 경과함에 따라 변하는, 특정 체크포인트에 국한된 산물로 취급되어야 한다고 주장한다.

원저자: Zhichao Fan, Yanhang Li, Zexin Zhuang, Xian Sun, Yingshuo Wang

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhichao Fan, Yanhang Li, Zexin Zhuang, Xian Sun, Yingshuo Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 "미스트랄(Mistral)"이나 "큐원(Qwen)"처럼 신뢰할 수 있는 브랜드의 자동차를 산다고 상상해 보세요. 판매원은 당신에게 "이 차는 90% 안전하고 95% 정직합니다"라고 적힌 브로슈어(모델 카드)를 건넵니다. 이 수치는 그들이 작년에 실시한 테스트를 바탕으로 한 것입니다.

이제 6개월 뒤, 같은 브랜드에서 그 자동차의 약간 업데이트된 버전을 출시했다고 상상해 봅시다. 이름은 바꾸지 않았지만, 엔진을 미세하게 조정했거나, 소프트웨어를 업데이트했거나, 심지어 타이어를 교체했을 수도 있습니다.

이 논문이 던지는 핵심 질문은 이것입니다: 당신은 여전히 예전의 브로슈어를 믿어도 될까요? 이전 버전의 "90% 안전" 점수가 새 버전에도 자동으로 적용될까요?

저자들은 이렇게 말합니다: 아니요. 절대 안 됩니다.

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. "움직이는 과녁" 문제

연구진은 네 가지 주요 오픈 소스 AI 제품군(Yi, Qwen, Mistral, Gemma)을 조사했습니다. 각 제품군에 대해 세 가지 연속된 버전(세대 1, 2, 3)을 확인했습니다.

이 AI 모델들을 주방의 요리사라고 생각해 보세요.

1세대는 요리사의 첫 번째 레시피입니다.
2세대는 동일한 요리사이지만, 향신료 배합을 바꾸거나, 조리 시간을 조절하거나, 사용하는 팬의 종류를 바꿨을 수도 있습니다.
3세대는 다시 그 요리사이며, 아마도 새로운 조수나 다른 오븐을 사용하고 있을 것입니다.

메뉴판에 적힌 요리사의 이름은 바뀌지 않았더라도, 그들이 제공하는 음식은 변합니다. 논문에 따르면 AI의 "신뢰성"은 이러한 버전 사이에서 크게 변화합니다. 이는 마치 지난달의 "95% 맛있는" 등급이 레시피를 약간 바꿨다는 이유만으로 85%로 떨어지거나 98%로 급등하는 것과 같습니다.

2. "표류(Drift)"는 실재하며 매우 큽니다

연구팀은 버전 간에 AI의 성능이 얼마나 "표류(drift)"했는지(이동했는지) 측정했습니다.

그들은 평균적인 변화 폭이 8.00 퍼센트 포인트임을 발견했습니다.
이해를 돕기 위해, 이 변화를 AI가 단순히 동전을 무작위로 던지는 것과 비교해 보았습니다. 실제 변화는 무작위 노이즈보다 3.6배 더 컸습니다.

비유: 당신이 다트판의 정중앙을 맞추려고 노력한다고 상상해 보세요. 만약 당신이 화살을 던질 때마다 (같은 지점에서 던지더라도) 다트판 자체가 격렬하게 움직이고 있다면, 어제의 점수는 오늘의 점수를 알려주는 데 아무런 도움이 되지 않습니다. 이 논문은 "다트판"(AI의 행동)이 우리가 생각했던 것보다 훨씬 더 많이 움직이고 있음을 증명합니다.

3. "인증서"는 만료되었습니다

현재 기업들은 종종 모델 카드에 신뢰 점수를 기재하고, 그것이 해당 "출시 라인" 전체에 유효하다고 가정하곤 합니다.

논문의 판결: 신뢰 점수는 운전면허증처럼 영구적인 인증서가 아닙니다. 그것은 일기 예보와 같습니다.
만약 당신이 지난 화요일에 "맑음"이라고 적힌 일기 예보를 읽었다면, 그 예보는 오늘 무엇을 입을지 결정하는 데 아무런 쓸모가 없습니다. 당신은 오늘의 조건에 맞는 새로운 예보가 필요합니다.

저자들은 AI의 새 버전이 출시될 때마다, 기존의 신뢰 점수는 만료된 것으로 취급해야 한다고 주장합니다. 재테스트 없이 그 점수를 새 버전으로 그대로 가져갈 수는 없습니다.

4. "종단적 모델 카드(Longitudinal Model Card)" 솔루션

점수가 매우 많이 변하기 때문에, 저자들은 이를 보고하는 새로운 방법인 종단적 모델 카드를 제안합니다.

이것은 단 한 장의 사진 대신 피트니스 트래커 기록과 같습니다.

기존 방식: "현재 몸무게 75kg"라고 적힌 오늘의 사진. (이것은 지난주와 비교해 체중이 늘었는지 줄었는지 알려주지 않습니다.)
새로운 방식 (종단적 카드): "1월 1일에 75kg였습니다. 2월 1일에 77kg였습니다. 변화량은 +2kg입니다"라고 적힌 기록지.

이 새로운 카드는 다음 내용을 포함해야 합니다:

특정 "스냅샷" (체크포인트): 테스트된 AI의 정확한 버전.
날짜: 테스트가 수행된 날짜.
표류(Drift): 이전 버전과 비교하여 점수가 얼마나 변했는지.

5. 이 논문이 주장하는 것이 '아닌' 것들

논문은 자신들이 주장하지 않는 부분에 대해서도 매우 신중하게 명시하고 있습니다:

"더 나음" 또는 "더 나쁨"에 관한 것이 아님: AI가 반드시 "멍청해졌거나" "덜 안전해진" 것은 아닙니다. 단지 변했을 뿐입니다. 때로는 점수가 올라가기도 하고, 때로는 내려가기도 합니다. 핵심은 그것이 예측 불가능하다는 점입니다.
"폐쇄형 AI"에 관한 것이 아님: 이 연구는 누구나 다운로드할 수 있는 오픈 소스 모델만을 대상으로 했습니다. 웹사이트에서 대화하는 것과 같은 대기업의 비밀스러운 폐쇄형 모델에 대해서는 언급하지 않습니다. 왜냐하면 그것들은 테스트하기가 더 어렵기 때문입니다.
"마법 같은" 해결책에 관한 것이 아님: 이 논문은 AI가 변하는 것을 막는 방법을 제시하지 않습니다. 단지 "변하지 않는 척하는 것을 멈추라"고 말할 뿐입니다.

결론

만약 당신이 오픈 소스 AI를 구매하거나, 규제하거나, 사용하고 있다면, 브로슈어에 적힌 신뢰 점수가 새 버전에도 적용될 것이라고 가정하지 마십시오. AI는 "움직이는 과격"입니다. 실제로 무엇을 얻게 될지 알기 위해서는 매 새 버전마다 반드시 재테스트를 해야 합니다. 오래된 점수는 단지 날짜가 지난 유물일 뿐, 보증서가 아닙니다.

기술 요약: 움직이는 표적 – 신뢰성 드리프트에 대한 종단적 감사

1. 문제 정의

현재의 대규모 언어 모델(LLM) 신뢰성 보고 관행은 벤치마크 점수를 정적이고 전이 가능한 인증서로 취급하는 경 경향이 있다. 모델 카드(Model cards)는 종종 신뢰성 벤치마크 점수(예: TruthfulQA, BBQ)를 인용하면서도, 구체적인 측정 시점이나 체크포인트 버전을 기록하지 않는다. 결과적으로, 이러한 점수들은 동일한 릴리스 라인 내의 연속적인 체크포인트(예: "Mistral-7B-Instruct v0.1"에서 "v0.3"으로) 사이에서도 모델의 행동이 변하지 않았다는 암묵적인 가정하에 그대로 유지되어 사용된다.

본 논문은 이 가정이 유효한지 조사한다. 본 논문은 오픈 소스 릴리스 라인의 경우, 세대 간에 사전 학습 혼합물(pretraining mixtures), 지시어 튜닝 레시피, 토크나이저 및 모델 규모가 변경되므로, 시점 $t$ 에서 측정된 신뢰 점수가 $t+\Delta$ 시점의 후속 체크포인트에 대해서도 유효할 수 있다고 가정한다. 핵심적인 운영상의 질문은 다음과 같다: 기저의 체크포인트가 이미 이동했음에도 불구하고, 특정 시점의 신뢰 점수가 전이 가능한 인증서로 읽히고 있는가?

2. 방법론

2.1 감사 범위 및 설계

본 연구는 네 가지 오픈 소스 채팅 LLM 릴리스 라인인 Yi, Qwen, Mistral, Gemma에 대한 종단적 감사를 수행한다.

세대(Generations): 각 릴리스 라인은 세 번의 연속적인 공개 세대(G1 $\to$ G2 $\to$ G3)에서 평가되며, 총 12개의 별도 체크포인트가 생성된다.
벤치마크: 세 가지 차원을 다루는 5개의 신뢰 벤치마크 바스켓이 고정적으로 사용된다:
- 진실성(Truthfulness): TruthfulQA-MC1.
- 공정성(Fairness): BBQ-mixed (모호한/명확한 MCQ 혼합) 및 CrowS-Pairs-FC (강제 선택형 MCQ).
- 안전성(Safety): ToxiGen-AT (AI 주석 기반 독성 임계값) 및 XSTest-TD (유형 유도 거부 프록시).
프롬프팅(Prompting): 구성의 민감도를 고려하기 위해, 표면 형태와 추출 전략이 다른 세 가지 별도의 프롬프트 템플릿 하에서 각 벤치마크를 평가한다.
샘플링: 비교의 일관성을 보장하기 위해 모든 12개 체크포인트에 걸쳐 재사용되는 고정된 캐시된 하위 집합 200개 항목을 사용한다.
평가 프로토콜: 모델은 4-bit NF4 양자화 및 그리디 디코딩(greedy decoding) 방식으로 로드된다. 점수는 각 체크포인트에 대해 세 가지 프롬프트 템플릿의 평균으로 계산된다.

2.2 지표 및 통계적 프레임워크

주요 지표는 인접한 세대 간의 절대 퍼센트 포인트 차이로 정의되는 **점수 드리프트율(Score Drift Rate, SDR)**이다:
$|SDR| = \frac{1}{|F||B||G_{trans}|} \sum |(s_{f,g',b} - s_{f,g,b})|$
여기서 $F$ 는 릴리스 라인 집합, $B$ 는 벤치마크 바스켓, $G_{trans}$ 는 인접한 전이를 나타낸다.

관찰된 드리프트가 샘플링 노이즈인지 아니면 통계적으로 유의미한 것인지 결정하기 위해, 저자들은 **풀링된 무드리프트트 참조 널(pooled no-drift reference null)**을 구축한다:

메커니즘: 각 $(f, b, t)$ 트리플에 대해, 모든 세대에 걸친 풀링된 성공률이 계산된다. 5,000회의 부트스트랩 반복을 통해, 인접한 세대를 독립적인 것으로 간주하고 이 풀링된 비율을 기반으로 이항 분포(Binomial distribution)에서 새로운 점수들을 시뮬레이션한다.
목적: 이는 "드리프트 없음" 가설 하에 기대되는 $|SDR|$의 분포를 생성한다. 관찰된 값은 이 널 분포의 99.9 백분위수와 비교된다.

3. 주요 결과

3.1 주요 엔드포인트: 유의미한 드리프트

연구 결과, 신뢰성 점수는 샘플링 노이즈로 예상되는 수준을 훨씬 초과하여 세대 간에 유의미하게 드리프트함을 발견했다.

관찰된 드리프트: 평균 절대 인접 세대 드리프트($|SDR|$)는 8.00 퍼센트 포인트(pp) (95% CI: [7.57, 9.12])이다.
널 비교: 풀링된 무드리프트 참조 널의 평균은 2.22 pp이며, 99.9 백분위수는 3.30 pp이다.
유의성: 관찰된 드리프트는 널 평균보다 3.60배 더 크며, 널 분포의 상위 $10^{-3}$ 꼬리 영역 밖에 위치한다 ( $p < 2 \times 10^{-4}$ ).
강건성: 이 결과는 엄격한 스코어링(파싱되지 않은 출력을 오답으로 처리, 드리프트 8.93 pp로 상승) 하에서도 유지되며, 다양한 섭동(특정 벤치마크, 릴리스 라인 또는 낮은 파싱 셀 제거)에 대해서도 [6.36, 9.43] pp 범위 내에서 드리프트가 지속된다.

3.2 탐색적 진단

회귀율(Regression Rate): 인접 세대 전환의 47.5%가 회귀(점수 하락)를 보였으며, 이는 "나중 버전이 엄격히 더 낫다"라는 암묵적 기대에 반한다.
차원별 변동성(Dimension Volatility): 공정성 관련 벤치마크가 가장 높은 변동성( $\sigma \approx 12.88$ pp)을 보였고, 그 다음은 진실성( $\approx 11.72$ pp)이었으며, 안전성은 상대적으로 안정적이었다( $\approx 7.48$ pp).
순위 지속성(Rank Persistence): 순위 안정성은 약하다. 최상위 점수를 기록한 릴리스 라인이 90%의 벤치마크/전이 셀에서 변경되었으며, 쌍별 순위(pairwise orderings)는 55%의 확률로 뒤집혀 균등 무작위 베이스라인보다 약간 나은 수준에 그쳤다.
준거 준수 플립(Compliance Flips): 경험적 중앙값 임계값에서, 세대 간에 벤치마크가 임계값을 통과할 확률은 모든 벤치마크에 대해 $\ge 0.5$ 이다.

4. 기여 및 시사점

4.1 핵심 결론

본 논문은 이름이 지정된 릴리스 라인에 부착된 신뢰 점수를 재측정 없이 이후의 체크포인트로 전이될 수 있다고 가정해서는 안 된다고 결론짓는다. 증거는 이러한 점수를 전이 가능한 인증서로 취급하는 것이 운영상 타당하지 않음을 시사한다.

4.2 제안된 해결책: 종단적 모델 카드 (Longitudinal Model Cards, LMC)

저자들은 신뢰성 보고를 **종단적 모델 카드(LMC)**로 패키징할 것을 제안한다. 표준 모델 카드와 달리, LMC에는 반드시 다음 내용이 포함되어야 한다:

체크포인트 식별자: 특정 HuggingFace 리비전 해시(revision hash).
평가 날짜: 측정된 정확한 날짜.
드리프트 맥락: 이전 감사된 릴리스 및 참조 널 요약 대비 해당 점수의 드리프트.
재감사 트리거(Re-audit Trigger): "실질적인 새로운 릴리스"(가중치, 토크나이저, 규모 또는 레시피의 변경)가 발생할 경우, 점수를 그대로 가져오는 대신 의무적인 재감사를 수행한다는 규칙.

4.3 주장의 범위

저자들은 조사 결과의 범위를 명시적으로 제한한다:

포함 사항: 5가지 특정 벤치마크의 비정형 채팅 평가 변형, 고정된 200개 항목 캐시된 하위 집합, 그리고 감사된 4가지 오픈 소스 릴리스 라인(모두 12B 파라미터 이하).
제외 사항: 폐쇄형 API(예: OpenAI, Anthropic), 12B 이상의 모델, 정형 벤치마크 프로토콜, 고정된 월 단위 공시 규칙. 본 논문은 이러한 제외 영역에서도 드리프트가 존재한다고 주장하지 않으며, 별도의 평가가 필요함을 언급한다.

5. 의의 및 한계

의의: 본 논문은 오픈 소스 LLM의 신뢰성 점수 안정성에 대한 최초의 대규모, 다중 제품군 종단적 감사를 제공한다. 이는 모델 거버넌스, 조달 및 규제 공시에서의 "정적 인증서" 패러다임에 도전하며, 신뢰성이 릴리스 라인의 영구적인 속성이 아니라 시간-종속적이며 체크포인트 특화적인 산물임을 주장한다.

한계:

표본 크기: 감사는 4개 제품군에 걸친 12개 체크포인트만을 다룬다.
항목-하위 집합 불확실성: 결과는 벤치마크당 단일 고정 200개 항목 하위 집합에 의존하며, 계산 자원 제약으로 인해 멀티 시드 재샘플링은 수행되지 않았다.
혼란 변수(Confounding Factors): 드리프트는 레시피 변경, 규모 변화(예: Gemma 7B $\to$ 12B), 토크나이저 변화의 혼합이다. 본 연구는 이러한 특정 동인을 분리해내지는 못했다.
양자화: 모든 모델은 4-bit NF4로 실행되었으며, 이는 아티팩트를 유발할 수 있으나 릴리스 라인 내에서는 일관성을 유지하였다.

본 논문은 새로운 통계적 방법론을 제안하는 것이 아니라, 이전에 감사되지 않은 특정 영역인 '시간에 따른 오픈 소스 LLM 신뢰 점수의 안정성'에 표준적인 종단적 및 부트스트랩 기법을 적용한 것이다.