🤖 AI

Project Kaleidoscope: Contextual, Human-Aligned Evaluation for Real-World AI Applications

이 논문은 실제 세계의 AI 애플리케이션에 대해 확장 가능하고 정책에 부합하는 평가를 가능하게 하기 위해, 페르소나 기반 테스트 생성, 맥락화된 루브릭, 그리고 인간 참여형 신뢰성 게이팅을 통합하는 실용적이고 반복적인 워크플로우인 Kaleidoscope를 소개한다.

원저자: Leanne Tan, Rohan Jaggi, Shaun Khoo, Roy Ka-Wei Lee

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Leanne Tan, Rohan Jaggi, Shaun Khoo, Roy Ka-Wei Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 요리사를 만든다고 상상해 보세요. 채소를 아주 빠르게 다지거나 버거를 뒤집는 법을 가르칠 수는 있지만, 그 로봇이 정말로 '당신의 특정 가족'을 위한 좋은 식사를 만들고 있는지 어떻게 알 수 있을까요? 예를 들어, 당신의 가족은 매운 음식을 싫어할 수도 있고, 플라스틱 용기를 사용하지 말라는 엄격한 규칙이 있을 수도 있습니다. 일반적인 요리책은 "이 레시피는 10점 만점에 9점"이라고 말할지 모르지만, 만약 당신의 가족이 고수 알레르기가 있다면 그 점수는 아무런 도움이 되지 않습니다. 이것이 바로 현재 인공지능 세계가 직면한 거대한 문제입니다. 우리는 이야기를 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 매우 똑똑한 AI 모델들을 가지고 있지만, 이들을 테스트하는 것은 악몽과 같습니다. 과학자들이 사용하는 표준 테스트는 자동차가 빨간불에 멈출 수 있는지 확인하는 일반적인 운전 면허 시험과 같습니다. 하지만 그 시험은 그 자동차가 당신의 특정 동네에 있는 빙판길과 굽이진 길에서도 안전하게 달릴 수 있는지는 알려주지 않습니다.

이를 해결하기 위해, 우리는 '우리의' 특정 규칙, '우리의' 특정 사용자, 그리고 '우리의' 특정 위험을 기반으로 AI를 테스트할 방법이 필요합니다. 여기서 '기능적 평가(functional evaluation)'라는 개념이 등장합니다. 이것은 "이 AI가 똑똑한가?"라고 묻는 것이 아니라, "이 AI가 우리의 규칙을 어기지 않으면서 우리가 필요로 하는 일을 수행하는가?"를 묻는 것입니다. 문제는 이를 수동으로 하는 것은 느리고 지루한 반면, 컴퓨터가 컴퓨터를 채점하게 하는 것은 편향되거나 게을러질 수 있다는 위험이 있다는 점입니다. 따라서 질문은 이것입니다. 어떻게 하면 빠르고 공정하며, 실제로 현실 세계의 맥락을 이해하는 테스트 시스템을 구축할 수 있을까요?

여기에 이 퍼즐을 풀기 위해 싱가포르 GovTech과 대학 팀이 설계한 새로운 워크플로우인 **프로젝트 칼라이도스코프(Project KALEIDOSCOPE)**가 있습니다. KALEIDOSCOPE를 단일 테스트가 아니라, AI를 점검하기 위한 고성능 다중 렌즈 카메라 시스템이라고 생각하십시오. AI의 성능을 찍은 하나의 흐릿한 사진을 찍는 대신, 여러 각도에서 수백 장의 사진을 찍고, 이를 맞춤형 규칙 책과 대조하며, 카메라가 초점을 정확히 맞췄다고 확신할 때만 최종 점수를 인정합니다.

이 마법이 일어나는 방식은 다음과 같습니다. 먼저, 시스템은 '페르소나(personas)'라는 등장인물 군단을 만듭니다. 고객 서비스 봇을 테스트한다고 가정해 봅시다. 단순히 일반적인 질문을 던지는 대신, KALEIDOSCOPE는 '심술궂은 고객', '혼란스러워하는 관광객', '기술에 능숙한 십대'를 생성합니다. 그리고 이 특정 캐릭터들이 실제로 던질 법한 질문들을 생성하여, 일반적인 상황부터 기이하고 예외적인 시나리오까지 모두 다룹니다. 이를 통해 테스트가 로봇의 꿈이 아닌 실제 삶처럼 느껴지도록 합니다.

다음으로, 시스템에는 규칙 책이 필요합니다. 과거에는 팀들이 단순히 무엇이 '좋은' 답변인지 추측하곤 했습니다. KALEIDOSCOPE는 사용자가 자신만의 루브릭(scoring criteria), 즉 고유한 상황에 맞는 구체적인 채점 기준을 작성할 수 있게 해줍니다. 금융 봇의 경우 규칙은 "숫자에 대해 100% 정확해야 함"이 될 수 있습니다. 챗봇의 경우 "친절하게 들려야 함"이 될 수 있습니다. 그러면 시스템은 AI의 답변을 가져와 채점을 시작합니다.

하지만 여기서 영리한 부분이 있습니다. 시스템은 컴퓨터가 컴퓨터를 채점하는 것을 그냥 믿지 않습니다. '신뢰성 게이트(reliability gate)'를 사용합니다. 세 명의 서로 다른 AI 심사위원단이 있다고 상상해 보세요. 이들이 최종 점수를 주기 전에, 이들은 소수의 연습 문제 세트를 통해 인간 전문가와 의견이 일치하는지 증명해야 합니다. 만약 AI 심사위원들이 인간의 논리와 최소 50% 이상 일치하지 못하면(팀이 설정한 특정 임계값), 시스템은 브레이크를 밟습니다. 시스템은 "잠깐, 이 심사위원들은 아직 신뢰할 수 없습니다"라고 말하며 결과를 중단시키고 더 많은 인간의 검토를 위해 플래그를 표시합니다. 이는 AI가 틀린 점수를 자신 있게 주는 것을 방지합니다. 심사위원들이 이 테스트를 통과했을 때만, 그들은 함께 투표하여 자동화된 최종 점수를 부여합니다.

팀은 네 개의 서로 다른 실제 팀(금융 봇, 인사 지원 봇, 조달 봇, 직원 도우미)과 함께 3주간의 파일럿 테스트를 통해 이를 실험했습니다. 그들은 시스템이 잘 작동한다는 것을 발견했습니다. 실제로, 이를 사용한 사람들의 83%가 앱을 더 효율적으로 평가하는 데 도움이 되었다고 답했습니다. 또한 그 과정에서 귀중한 교훈도 얻었습니다. 예를 들어, AI에게 테스트할 앱에 대한 배경 정보를 충분히 제공하지 않으면, 생성된 테스트 케이스가 이상하거나 비현리적일 수 있다는 점을 깨달았습니다. 그래서 그들은 사용자의 설명이 너무 짧을 경우 시스템이 앱의 맥락을 더 배우기 위해 웹을 검색할 수 있는 기능을 추가했습니다.

결과는 이 '인간 참여형(human-in-the-loop)' 접근 방식이 AI 테스트를 실용적으로 만드는 유망한 방법임을 시사합니다. 팀은 단일 AI 심사위원이 모든 것을 채점하게 하면 일관성 없는 결과가 자주 발생하지만, 인간과 먼저 일치해야 하는 '배심원단' 형태의 심사위원을 사용하면 점수가 훨씬 더 신뢰할 수 있게 된다는 것을 발견했습니다. 또한, 답변을 작은 주장(예: 각 문장이 사실인지 확인하는 것)으로 나누는 것이 막연한 종합 점수를 주는 것보다 더 낫다는 것도 발견했습니다.

하지만 이 논문은 이것이 완벽한 해결책이라고 부르는 것은 경계합니다. 이번 파일럿은 몇 개의 팀과 제한된 수의 테스트 케이스(108개의 주석 처리된 쌍)만을 포함한 작은 규모였습니다. 저자들은 이 워크플로우가 진일보한 단계이긴 하지만, 모든 AI 안전 문제를 해결하는 마법 지팡이는 아니라고 제안합니다. 여전히 규칙을 설정하고 결과를 검토하는 데 인간의 노력이 필요하며, 이 방식은 AI 에이전트가 며칠간의 여행을 계획하는 것과 같은 복잡하고 장기적인 행동을 체크하기보다는, AI가 질문에 대해 올바른 답을 하는지 확인하는 데 가장 적합합니다.

요약하자면, KALEIDOSCOPE는 팀들이 추측을 멈추고 확신을 갖게 도와주는 툴킷입니다. 이는 인간의 요구라는 무질서한 현실과 AI 테스트의 경직된 논리 사이의 다리를 놓아, AI가 "준비되었습니다"라고 말할 때 실제로 준비가 되었음을 보장합니다. 스마트한 테스트 생성, 맞춤형 규칙 책, 그리고 자동화된 채점을 위한 엄격한 "신뢰하되 검증하라(trust but verify)" 시스템을 결합함으로써, KALEIDOSCOPE는 현실 세계에서 정신을 잃지 않고 AI를 배포하려는 모든 이들에게 실질적인 경로를 제시합니다.

기술 요약: 프로젝트 KALEIDOSCOPE (Project KALEIDOSCOPE)

문제 정의

대규모 언어 모델(LLM) 애플리케이션을 실제 환경에 배포하기 위해 평가하는 과정은 중대한 병목 현상에 직면해 있다. 공개 벤치마크는 특정 조직의 사용자, 컨텍스트, 정책 또는 위험 허용 범위와 일치하지 않는 경우가 많기 때문이다. 일반적인 능력 벤치마크는 존재하지만, 이는 기능적 컨텍스트에서의 "좋은" 성능이 갖는 미묘한 차이를 포착하지 못한다 (예: 정책에 근거한 답변이 필요한 HR 봇과 단계별 솔루션이 필요한 수학 봇의 차이). 현재의 조직적 평가 프로세스는 종종 수동적이고, 파편화되어 있으며, 규모를 키우기에 번거롭다. 기존 도구들은 워크플로우의 일부(테스트 생성, 점수 산정, 로깅)를 다루지만, 컨텍스트 기반의 테스트 구축, 구성 가능한 루브릭(rubrics), 인간 참여형(Human-in-the-Loop) 보정, 그리고 신뢰성 게이트가 적용된 자동 점수 산정을 하나의 검사 가능한 워크플로우로 결합한 통합 시스템은 갖추지 못하고 있다.

방법론: KALEIDOSCOPE 워크플로우

KALEIDOSCOPE는 컨텍스트 기반의 기능적 평가를 위해 설계된 엔드 투 엔드(end-to-end) 워크플로우이다. 이 시스템은 네 가지 핵심 설계 고려 사항, 즉 (1) 대표성 있는 테스트 케이스, (2) 구성 가능한 루브릭, (3) 최적화된 인간 참여형(HITL) 경험, (4) 투명하고 신뢰성 게이트가 적용된 자동 점수 산정 위에서 작동한다. 워크플로우는 다음 단계들을 거친다:

대상 애플리케이션 정의: 사용자는 애플리케이션의 목적, 대상 사용자 및 지식 베이스를 지정한다. 사용자가 제공한 컨텍스트가 부족할 경우, 시스템은 설정을 구체화하기 위해 공개 웹 정보를 선택적으로 검색하여 근거를 마련한다.
페르소나 기반 테스트 생성: 정적인 데이터셋 대신, KALEIDOSCOPE는 다섯 가지 차원인 페르소나(사용자 배경/스타일), 유형(일반적 사례 vs 에지 케이스), 범위(지식 베이스 내부 vs 지식 베이스 외부), 입력 스타일(간결함 vs 상세함), 그리고 언어를 변화시켜 테스트 케이스를 생성한다. 이를 통해 현실적인 사용자 시나리오를 포괄할 수 있다.
인간 검토 및 주석 달기: 시스템은 애플리케이션의 응답을 수집하고, 인간 검토자가 캘리브레이션 세트(calibration set)를 라벨링하도록 가이드한다. 자동화 편향(automation bias)을 줄이기 위해, 인터페이스는 LLM 보조 워크플로우를 사용한다. 여기서 LLM은 라벨을 제안하고 증거를 강조하지만, 인간 검토자는 단순히 승인하거나 거절하는 것이 아니라 루브릭 옵션 중에서 라벨을 능동적으로 직접 선택해야 한다. 이를 통해 신뢰할 수 있는 참조 세트를 구축한다.
평가 루브릭: 사용자는 자연어를 사용하여 커스텀 루브릭을 정의하거나 프리셋을 선택한다. 시스템은 사용자가 정의한 기준을 구조화된 판사 프롬프트(judge prompts)로 재작성하기 위해 LLM 기반 증강기(augmenter)를 활용한다. 결정적으로, 설계는 단일 프롬프트가 여러 차원을 점수화하려 할 때 발생하는 성능 저하를 피하기 위해 "판사 프롬프트당 하나의 메트릭(one-metric-per-judge-prompt)" 접근 방식을 선호한다.
자동 점수 산정 및 LLM 배심원단(LLM-as-a-Jury):
- 각 루브릭에 대해 세 명의 후보 LLM 판사를 인스턴스화한다.
- 판사들은 인간이 라벨링한 캘리브레이션 세트를 대상으로 평가된다.
- 신뢰성 게이트(Reliability Gate): 캘리케이션 세트에서 Macro F1 점수가 0.5를 초과하는 판사만이 집계 대상이 될 자격을 얻는다.
- 집계: 적격한 판사들의 점수는 다수결 원칙에 따라 집계된다. 만약 통과하는 판사가 없다면, 시스템은 자동 점수 산정을 보류하고 해당 루브릭에 대해 인간의 검토가 필요함을 알린다.
- 오류 분석: 판사 간의 불일치를 표면화하여 모호한 사례나 더 밀접한 인간의 검사가 필요한 영역을 식별한다.

주요 기여

워크플로우 산출물: KALEIDOSCOPE를 타겟 설정부터 오류 분석에 이르기까지 전체 라이프사이클을 다루는, 컨텍스트 기반 기능적 평가를 위한 실용적이고 검사 가능한 반복적 워크플로우로서 제시한다.
루브릭 및 판정 설계: 클레임 수준 또는 응답 수준의 점수 산정을 활용하고, 신뢰성 게이트가 적용된 "배심원" 메커니즘을 사용하는 구성 가능한 평가 기준에 대한 새로운 접근법을 제시한다. 이 메커니즘은 LLM 판사가 인간이 검토한 라벨과 일치성을 보일 때만 점수를 집계함으로써, 보정되지 않은 자동 점수의 위험을 완화한다.
실증적 근거: 네 가지 조직적 유즈케이스(재무, 인사, 조달, 스태프 어시스턴트)에 걸친 3주간의 파일럿 운영과 14개 평가 차원에 대한 108개의 주석 처리된 Q&A 쌍 실험 결과.

결과 및 발견

파일럿 사용성: 4개 팀, 8명의 사용자를 대상으로 한 파일럿 결과, 응답자의 83%가 KALEIDOSCOPE가 애플리케이션을 더 효율적으로 평가하는 데 도움이 되었다고 답했다. 모든 응답자가 결과를 해석할 때 판사의 신뢰도 점수를 고려하였으며, 이는 캘리브레이션 신호가 의사결정에 유의미함을 나타낸다.
루브릭 실험:
- 멀티 메트릭 vs 싱글 메트릭: 멀티 메트릭 판사(하나의 프롬프트로 여러 기준을 점수화)와 싱글 메트릭 판사를 비교한 실험 결과, 범위를 좁히는 것이 일치도를 향상시켰다. 예를 들어, "공감도(empathy)"와 "장황함(verbosity)"에 대한 싱글 메트릭 판사는 멀티 메트릭 베이스라인 대비 각각 +15.2%와 +11.6%의 코헨 카파( $\kappa$ ) 개선을 보였다.
- 프롬프트 반복: 멀티 메트릭 브래킷 내에서 프롬프트를 반복적으로 수정하는 것은 성능을 일관되게 향im시키지 못했으며 때로는 오히려 저하시켰는데, 이는 범위 과부하(scope overload)를 시사한다.
- 프롬프트 증강: 사용자가 정의한 루브릭을 메트릭별 프롬프트로 증강하기 위해 LLM을 사용하는 것은 섞인 결과를 낳았다. 이는 "구조(structure)"에 대해서는 성능을 개선했으나 "구체성(specificity)"에 대해서는 그렇지 못했는데, 이는 증강의 효과가 특정 기준과 인간 주석의 모호한 경계에 따라 달라짐을 시사한다.
설계 수정: 사용자 피드백을 바탕으로 테스트 케이스 할당 방식(균등 분포에서 현실적인 사용 비율로 전환), 희소한 컨텍스트를 위한 백엔드 웹 검색 근거 추가, 기존 평가 프로세스와 통합하기 위한 임포트/익스포트 포인트 포함 등의 수정을 진행하였다.

의의 및 주장

본 논문은 KALEIDOSCOPE를 일반적인 신뢰성을 위한 보편적 벤치마크나 일반적인 LLM 판사의 신뢰성 해결책이 아니라, 제품 팀을 위한 실용적인 워크플로우 산출물로 포지셔닝한다. 그 의의는 다음과 같다:

컨텍스트 정렬: 일반적인 능력 벤치마킹에서 로컬 정책과 거버넌스를 존중하는 애플리케이션 특화 기능 평가로 초점을 전환한다.
신뢰성 게이팅: 자동 점수 산정을 인간이 검증한 일치성 뒤에 배치하는 메커니즘을 제공하여, 자동화된 점수가 설정된 신뢰도 임계값을 충족할 때만 사용되도록 보장한다.
검사 가능성: 판사의 불일치와 캘리브레이션 실패가 가시화되는 투명한 프로세스를 생성하여, 팀이 왜 점수가 생성되었는지 혹은 왜 보류되었는지를 이해할 수 있게 한다.

저자들은 본 파일럿이 확정적인 검증이라기보다 "초기 증거" 및 "초기 사용성 증거"를 제공한다고 겸허하게 주장한다. 또한 현재 워크플로우가 입출력 평가에 가장 강력하며, 복잡한 에이전틱 시스템, 멀티 턴 워크플로우, RAG(검색 증강 생성) 트레이스로 범위를 확장하기 위해서는 향후 연구가 필요함을 인정한다. 궁극적인 목표는 이러한 교훈을 진단에서 목표 지향적 개선으로 이어지는 더 넓은 테스트 플랫폼으로 제품화하는 것이다.