📊 statistics

The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction

본 연구는 멀티모달 거대언어모델(LLM)이 신뢰할 수 없는 레이블에 대한 공통된 편향으로 인해 스크린샷만으로는 실제 A/B 테스트 결과를 안정적으로 예측할 수 없음을 보여주지만, 불확실한 사례를 식별하고 이를 기권하도록 예측을 보정함으로써 유의미한 정확도를 달取得할 수 있으며, 이러한 한계는 높은 평가자 간 일치도에도 불구하고 우연보다 나은 성과를 내지 못하는 인간 전문가의 무능력을 반영한다.

원저자: Tyler Dooskin, Squoosh Technical Staff

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tyler Dooskin, Squoosh Technical Staff

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하려는 탐정이라고 상상해 보세요. "두 명의 용의자 중 누가 유죄인가?"라는 질문 말이죠. 웹사이트의 세계에서 '용의자'는 약간씩 다른 두 가지 버전의 페이지를 의미하며, '유죄'인 쪽은 더 많은 사람을 구매하게 하거나 가입하게 만드는 버전입니다. 이것을 A/B 테스트라고 부릅니다. 보통 이 승자를 찾아내려면 실제 사람들이 사이트와 상호작용하는 것을 며칠, 혹은 몇 주 동안 기다리며 지켜봐야 합니다. 하지만 최근에 새로운 종류의 탐정이 등장했습니다. 바로 인공지능(AI)입니다. 모두가 던지는 큰 질문은 이것입니다. "AI가 두 웹사이트의 사진을 보고 즉시 어느 쪽이 승리할지 알려주어, 우리 모두의 기다리는 시간을 줄여줄 수 있을까?"

이 논문을 이해하려면 과학에서 '좋음'을 측정하는 방법에 대해 몇 가지 알아야 합니다. 첫째, '운에 의한 정답'과 '실력에 의한 정답'의 차이입니다. 동전 던지기에서 "앞면"이라고 추측한다면, 당신은 운 좋게 50%의 확률로 맞힐 것입니다. 만약 어떤 탐정이 천재라고 주장하면서 겨우 51%만 맞힌다면, 그는 정말 특별한 일을 하고 있는 것이 아닙니다. 과학자들은 운을 걷어내고 그 탐정이 실제로 머리를 쓰고 있는지 확인하기 위해 '코헨의 카파(Cohen's kappa)'라는 특별한 점수(이를 "실력 점수"라고 부릅시다)를 사용합니다. 둘째, "공유된 편향(Shared Bias)"의 문제입니다. 예를 들어, 선생님과 학생이 같은 마을에서 자랐다고 상상해 보세요. 그들이 모든 것에 대해 의견이 일치하는 이유는 학생이 똑똑해서가 아니라, 두 사람 모두 부모님으로부터 잘못된 사실을 똑같이 배웠기 때문일 수 있습니다. 만약 AI와 테스트 데이터를 만든 사람들이 동일한 "민간 지식(folk wisdom)"을 학습했다면, 그들은 정답에 동의할 수는 있겠지만, 그것이 AI가 미래를 예측한다는 것을 의미하지는 않습니다.

이 논문은 이 질문에 답하기 위해 노력한 'Squoosh'라는 팀의 매우 정직하고 엄격한 보고서입니다. 그들은 단순히 AI에게 추측하라고 시킨 것이 아닙니다. 그들은 마치 요리하기 전에 레시피를 미리 적어두는 과학자처럼, 나중에 AI가 더 잘하는 것처럼 보이도록 규칙을 바꾸지 못하도록 사전에 규칙을 확정하는 '함정'을 설치했습니다. 그들은 AI가 실제로 승자를 예측할 수 있는지 확인하기 위해 방대한 양의 실제 웹사이트 테스트 라이브러리를 사용했습니다.

반전이 있습니다. AI는 본래의 임무에 있어서 대부분 실패했다는 점입니다. 팀이 AI에게 330개의 실제 테스트를 보고 매번 승자를 고르라고 요청했을 때, AI는 무작위 추측보다 간신히 나은 수준에 불과했습니다. 사실, AI는 "신뢰할 수 없는" 테스트(결과가 명확하지 않은 경우)에서 "신뢰할able한" 테스트보다 더 많이 동의하는 모습을 보였습니다. 알고 보니 AI와 테스트 데이터를 만든 사람들은 웹사이트를 좋게 만드는 요소에 대한 오래된 미신을 반복하고 있었을 뿐, 실제로 어떤 일이 일어날지를 예측하고 있었던 것이 아니었습니다. 훨씬 더 똑똑하고 비싼 AI를 사용하는 것도 도움이 되지 않았습니다. 결과는 똑같이 좋지 않았습니다. 이 논문은 단순히 "더 좋은 AI를 사거나" "더 나은 프롬프트를 작성하는 것"만으로 이 문제를 해결할 수 있다는 생각을 명시적으로 배제합니다. 스크린샷만 보고 웹사이트의 승자를 예측하는 "마법의 수정구슬"은 존재하지 않습니다.

하지만 이 논문이 AI가 쓸모없다고 말하는 것은 아닙니다. 논문은 AI가 '정직한' 탐정이라고 말합니다. 팀은 특별한 기술을 발견했습니다. 만약 그들이 AI에게 "절대로 확신할 수 있을 때만 추측하고, 그렇지 않으면 '모르겠다'고 말하라"고 지시하면, AI는 자신이 목소리를 높이는 순간에는 놀라울 정도로 성능이 좋아진다는 것입니다. AI 내부의 심판단이 하나의 답에 강력하게 동의했을 때, AI는 신뢰할 수 있는 테스트에서 약 31%의 확률로 정답을 맞혔습니다. 이 수치는 낮아 보일 수 있지만, 기억하세요. 수년간의 경험을 가진 실제 인간 전문가들도 평균적으로 약 29% 정도만 정답을 맞힙니다. AI는 초천재가 아닙니다. 단지 자신이 언제 추측하고 있는지, 그리고 언제 추측하지 말아야 하는지를 아는 도구일 뿐입니다.

가장 중요한 발견은 '신뢰'에 관한 것입니다. 이 논문은 한 그룹의 AI들이 서로 동의한다는 것이 반드시 그들이 옳다는 것을 의미하지는 않으며, 오히려 그들이 모두 동일한 공유된 편향을 반복하고 있다는 것을 의미할 때가 많다는 것을 보여줍니다. 이는 마치 친척들로 구성된 배심원단과 같습니다. 그들은 모두 같은 방식으로 투표하겠지만, 그것이 판결의 정확성을 보장하지는 않습니다. 이 논문은 이러한 "공유된 편향"이 인간에게도 발생한다는 것을 증명합니다. 15명의 실제 전문가에게 승자를 맞혀보라고 요청했을 때, 전문가들은 서로 강력하게 동의했지만, AI만큼이나 자주 틀렸습니다.

그래서 최종적인 결론은 무엇일까요? 논문은 우리가 100% 확실하게 웹사이트의 승자를 예측하는 도구를 만들 수는 없다고 결론짓습니다. 대신, 가장 좋은 도구는 "보정된 스크리닝 도구(Calibrated Screening Instrument)"입니다. 즉, "나는 이것이 승리할 것이라고 확신한다"라고 말하거나, "잘 모르겠으니 나에게 묻지 마라"라고 말할 수 있는 시스템입니다. 이 시스템은 자신의 한계에 대해 정직합니다. 또한, 이 작업을 수행하기 위해 엄청나게 비싸고 거대한 AI가 필요하지 않다는 것도 보여줍니다. "정직함"의 기술을 사용한다면 더 작고 저렴한 버전도 충분히 잘 작동합니다. 진짜 가치는 모든 답을 얻어내는 데 있는 것이 아니라, 당신이 언제 답을 믿지 말아야 하는지를 정확히 아는 데 있습니다. 논문은 자신의 데이터, 실패한 실험, 그리고 규칙들을 모두 공개하며 마무리됩니다. 이는 때때로 가장 중요한 발견은 마법 같은 기술이 작동하지 않는다는 것을 인정하는 것이지만, 매우 신중하고 정직한 버전의 기술은 충분히 유용할 수 있다는 것을 증명합니다.

=== 요약 ===

기술적 요약: LLM 기반 A/B 테스트 예측을 위한 보정된 절제(Calibrated Abstention)

문제 정의

본 논문은 멀티모달 거대언어모델(LLM)이 웹 페이지 변형체의 스크린샷만을 기반으로 실제 A/B 테스트의 승자를 예측할 수 있는지 조사한다. 저자들은 LLM이 전환율 최적화(CRO)를 위한 "사전 테스트 오라클(pre-test oracle)" 역할을 할 수 있다는 업계의 지배적인 내러티브에 이의를 제기한다. 저자들은 기존 평가 방식에서 나타나는 결정적인 실패 모드를 식별했다. 즉, 큐레이션된 A/B 테스트 카탈로그가 승리 변형체(B-win) 쪽으로 심하게 편향되어 있어(종종 75~85%), 변경된 페이지를 선호하는 단순한 모델이 높은 원시 정확도(raw accuracy)를 달 기록함으로써 실질적인 의사결정 가치는 전혀 제공하지 못한 채 높은 성과를 내는 현상이다. 핵심 문제는 모델이 실제로 실험 결과를 예측하는 것인지, 아니면 기저율(base-rate)의 인위적 결과물을 이용하거나 라벨 큐레이터들과 공유하는 "민속적 지혜(folk wisdom)"의 사전 확률(prior)을 이용하는 것인지를 구별하는 것이다.

방법론

저자들은 선도적인 CRO 에이전시의 독점 코퍼스인 546개의 실제 A/B 테스트를 대상으로 6주간의 사전 등록된 실험 프로그램을 수행했다. 연구에는 데이터 오버피팅과 마케팅 편향을 방지하기 위해 설계된 엄격한 통계적 하네스가 사용되었다:

코퍼스 및 그라운드 트루스(Ground Truth): 데이터셋은 렌더링 가능한 스크린샷을 포함한 330~332개의 결정적 테스트를 포함했다. 결정적으로, 저자들은 원시 팔(arm) 카운트로부터 통계적 유의성( $p < 0.05$ )을 재계산하였으며, 그 결과 카탈로그 내 "그라운드 트루스" 라벨의 44%가 유의하지 않은 테스트에서 왔음을 밝혀냈다.
평가 지표: 주요 지표는 원시 정확도가 아닌, 우연을 보정한 일치도 측정치인 코헨의 카파( $\kappa$ , Cohen's $\kappa$ )이다. 신뢰 구간은 퍼센타일 부트스트래핑( $B=10,000$ )을 통해 생성되었다.
통계적 엄밀성:
- 사전 등록(Pre-registration): 가설, 결정 게이트, 전력 분석(power analyses)을 데이터 수집 전에 확정했다.
- 게이트 온 리샘플(Gate-on-Resample): 게이트가 적용된 지표(모델이 절제하는 경우)의 경우, 커버리지 불확실성을 $\kappa$ 신뢰 구간에 전파하기 위해 모든 부트스트랩 반복 내에서 신뢰 게이트를 재적용했다.
- 동등성 검정(Equivalence Testing): 더 비싼 모델이 단순히 차이를 보여주지 못하는 것이 아니라, 저렴한 모델과 통계적으로 동등함을 증명하기 위해 TOST(Two One-Sided Tests)를 사용했다.
- 적대적 검증(Adversarial Verification): 헤드라인 결과는 출판 전 독립적인 재도출 및 반증 과정을 거쳤다.
실험 설계: 연구는 Gemini 3 Flash 판정단에 의한 카운터밸런스(counterbalanced) 16~20인 투표 패널을 활용했다. 여기에는 모델 용량(Gemini 3.1 Pro), 프롬프트 메커니즘, 자극 충실도(실제 vs. 재구성된 스크린샷), 그리고 변화 유형의 사전 확률(change-type priors)을 포함한 다양한 "레버"를 테스트했다.

주요 결과

1. 무조건적 예측은 "정직성 바(Honesty Bar)"를 통과하지 못함

전체 데이터셋에 대해, Gemini 3 Flash 판정단은 $\kappa = 0.141$ [0.034, 0.248]을 달성하여 우연보다는 높지만 약한 수준의 일치도를 보였다. 그러나 통계적으로 유의미한 라벨(데이터 중 신뢰할 수 있는 절반)로 제한했을 때, 증거는 결정 불가능해졌다 ( $\kappa = 0.108$ [−0.049, 0.264]).

공유된 사전 확률의 인위적 결과물: 판정단은 신뢰할 수 있는 라벨보다 신뢰할 수 없는(비유의적인) 라벨과 더 많이 일치했다. 이는 모델과 라벨 큐레이터가 무엇이 이겨야 하는지에 대한 "민속적 지혜"의 사전 확률을 공유하고 있음을 시사하며, 모델이 실제로 무엇이 이겼는지를 예측하는 것이 아님을 보여준다.
모델 용량: 프런티어 모델(Gemini 3.1 Pro)은 비용이 2.8배 더 높음에도 불구하고 Flash와 통계적으로 동등했다 ( $\Delta\kappa = -0.037$ , $\pm0.20$ TOST 범위 내).
프롬프트 및 충실도: 프롬프트를 재설계하거나, 자극 충실도를 높이거나, 변화 유형의 사전 확률을 사용하는 것 모두 통계적으로 유의미한 개선을 만들어내는 데 실패했다.

2. 보정된 절제가 신호를 드러냄

저자들의 라벨 유효성 감사에서 살아남은 유일한 작동 지점은 **확신-호출-또는-절제(confident-call-or-abstain)**였다.

메커니즘: 내부 패널 합의(특히 투표 마진 $\ge 0.6$ )에 따라 예측을 게이팅함으로써, 모델은 약 51%의 테스트에서 절제한다.
성능: 모델이 확신 있는 호출을 수행하는 테스트(커버리지 49%)의 부분 집합에서, 신뢰할 수 있는 라벨에 대한 $\kappa$ 는 0.311 [0.025, 0.555]로 상승했다. 이는 연구 내에서 신뢰할 수 있는 라벨에 대해 신뢰 구간이 0을 제외하는 유일한 셀이다.
재현성 vs. 타당성: 저자들은 모델의 호출이 완벽하게 재현 가능하다는 점(독립적인 실행 간 31/31 일치)을 입증했으나, 재현성이 곧 타당성을 의미하는 것은 아님을 보여주었다. 더 작은 코호트(33개 호출)에 대한 홀드아웃 확인 결과 $\kappa = -0.100$ [−0.200, 0.000]이 나왔으며, 이는 발견된 내용을 반박하지는 못하지만 확인하는 데에도 실패한 결정 불가능한 결과로, 선택적 예측 이득의 취약성을 강조했다.

3. 인간의 한계와 합의의 환상

논문은 LLM을 인간 전문가와 벤치마킹한다:

인간 베이스라인: 동일한 도구를 사용한 15명의 소스-내이브(source-naïve) CRO 실무자 연구 결과, 실제 결과에 대해 우연 수준의 일치도를 보였다 ( $\kappa \approx -0.03$ ).
인간의 공유된 사전 확률: LLM과 마찬가지로, 인간들도 서로 강하게 일치했지만(상호 판정자 $\kappa = 0.53$ ) 실제 결과를 예측하는 데는 실패했다. 이는 "공유된 사전 확률"의 인위적 결과물이 LLM 특유의 병리 현상이 아니라, 인간과 기계 모두에게 적용되는 과업의 근본적인 한계임을 확인시켜 준다: 즉, 페이지의 시각적 외형만으로는 그 실험적 결과를 결정짓기에 불충분하다.
유효 표본 크기: 16인 LLM 패널은 약 2개의 유효 독립 투표( $n_{eff} \approx 1.9–2.6$ )만을 가진다. 마찬가지로 15명의 인간 전문가는 통계적으로 두 명 미만의 독립적인 판단처럼 행동했다. 상관관계가 있는 판정자들(또는 인간들) 사이의 합의는 설득력은 있을지언정 기술(skill)의 증거는 아니다.

4. 경제성 및 배포

비용 효율성: 9인 패널은 전체 패널 비용의 약 절반으로 게이트된 작동 지점( $\kappa \approx 0.27$ )을 유지한다.
산출물: 논문은 승률 오라클보다는 보정된 스크리닝 도구의 배포를 지지한다. 여기에는 다음이 포함된다:
- 확신-호출-또는-절제 방식의 승자 해석.
- 적대적 검증을 포함한 스크린샷 기반의 UX 감사(12/13개 발견 사항 검증됨).
- 모든 숫자가 증거 계층(예: CONFIRMED, EXPLORATORY, REFUTED)을 갖는 계층적 클레임 원장(claims ledger).

의의 및 주장

이 논문의 주요 기여는 LLM 기반 평가를 "최대화"된 주장으로부터 "정직한" 주장으로 이동시키는 **보정 규율(calibration discipline)**이다.

반박된 주장: 본 논문은 무조건적인 승자 예측, 모바일 검증된 정확도(모바일 렌더링된 라벨 코퍼스의 부재로 인해), 그리고 예측된 전환 상승률 가능성을 명시적으로 반박한다.
지지된 주장: 저자들은 입력값의 약 절반에 대해 절제하는 보정된 스크리닝 도구의 배포를 지지한다. 가치 제안은 높은 정확도의 오라클이 아니라, 신호가 존재하는 소수의 사례를 식별하고 나머지 부분에서는 환각된 확신을 피하기 위해 절제하는 도구이다.
과학적 성실성: 이 논문은 부정적인 결과, 잠긴 게이트, 그리고 "결정 불가능한" 홀드아웃 테스트를 공개함으로써 벤더의 백서에 대한 카운터 내러티브 역할을 한다. 저자들은 자신의 주장을 스스로 죽이지 못하는 측정 시스템은 측정이 아니라 광고라고 주장한다.

저자들은 결론적으로, 스크린샷으로부터 A/B 테스트 승자를 예측하는 과업에 있어, 합의(consensus)—그것이 인간이든 모델이든—는 재현 가능하고 설득력이 있지만, 그것이 기술의 증거는 아니다라고 말한다. 유일하게 실행 가능한 경로는 자신이 언제 알고 있는지 알고, 모를 때는 명시적으로 인정하는 시스템이다.