지금까지 AI 를 평가할 때는 **"모든 질문에 똑같은 채점표 (루브릭)"**를 사용했습니다.
비유: imagine 하세요. 학교 시험지인데, 수학 문제를 풀 때나 국어 작문을 할 때나 모든 답안지에 "글씨를 예쁘게 썼나요?", "문법 오류가 없나요?"라는 똑같은 체크리스트를 주고 점수를 매긴다고 상상해 보세요.
수학 문제에서는 '글씨 예쁨'이 중요하지 않을 수 있고, 작문에서는 '수식 계산 정확도'가 중요할 텐데 말이죠.
기존 방식은 이렇게 질문의 맥락 (Context) 을 무시하고 고정된 기준만 적용해서, AI 가 정말 잘한 부분이나 놓친 중요한 부분을 놓치기 일쑤였습니다.
2. Qworld 는 어떻게 작동하나요? (한 질문, 한 세계)
Qworld 는 **"질문 하나하나가 자신만의 '세계 (World)'를 가진다"**고 생각합니다. 그래서 질문이 들어오면, 그 질문에 딱 맞는 새로운 채점표를 그 자리에서 만들어냅니다.
이 과정은 마치 나무를 자라게 하는 것과 비슷합니다.
시나리오 (Scenario) 발견: 질문을 보고 "이 질문은 어떤 상황에서 나온 걸까?"라고 생각합니다.
예: "손이 저려요"라는 질문이 들어오면, Qworld 는 "아, 이건 단순한 통증이 아니라 직장인이 컴퓨터 사용 때문에 겪는 문제일 수도 있고, 운전을 하는 사람일 수도 있겠네"라고 다양한 상황을 상상합니다.
관점 (Perspective) 확장: 그 상황들을 바탕으로 "무엇을 봐야 할까?"라는 관점을 여러 갈래로 나눕니다.
예: "의학적 정확성", "안전 경고", "실용적인 팁", "환자 감정 배려" 등 다양한 각도에서 바라봅니다.
세부 기준 (Criteria) 생성: 각 관점에서 구체적이고 체크 가능한 질문들을 만들어냅니다.
예: "고강도 운동 중이라면 손이 저릴 때 운전을 하지 말라고 경고했는가?", "손가락 마비 증상이 심하면 즉시 병원에 가야 한다고 했는가?" 같은 아주 구체적인 체크리스트를 만듭니다.
이렇게 질문 → 상황 → 관점 → 세부 기준으로 이어지는 **나무 가지처럼 뻗어나가는 과정 (재귀적 확장)**을 통해, 그 질문에 딱 맞는 완벽한 평가 기준을 만들어냅니다.
3. Qworld 의 놀라운 성과
연구팀은 이 방법을 의료 질문 (HealthBench) 과 복잡한 추리 문제 (Humanity's Last Exam) 에 적용해 보았습니다.
전문가도 놓친 것을 찾아냈습니다: 기존에 전문가들이 만든 기준의 89% 를 모두 커버하면서도, 전문가들이 생각지 못했던 79% 의 새로운 기준을 찾아냈습니다.
비유: 기존 채점표가 "약이 맞나요?"만 체크했다면, Qworld 는 "약이 맞지만, 비 오는 날에는 효과가 떨어질 수 있으니 우산을 챙기세요" 같은 숨겨진 중요 포인트까지 찾아냅니다.
AI 의 진짜 실력을 가려냈습니다: 기존 방식에서는 모든 AI 가 비슷하게 높은 점수를 받아서 누가 더 좋은지 알기 어려웠습니다 (점수 포화 현상). 하지만 Qworld 를 쓰니, 장기적인 영향력, 공정성, 오류 처리 능력 같은 미세한 부분에서 AI 들의 차이가 뚜렷하게 드러났습니다.
4. 결론: 왜 이것이 중요한가요?
Qworld 는 **"질문마다 다른 세상"**을 인정하는 방식입니다.
기존 방식: 모든 학생에게 똑같은 시험지를 주고, 똑같은 채점표로 점수 매기기. (일괄 처리)
Qworld 방식: 학생이 풀고 있는 문제의 성격 (수학, 역사, 예술) 을 먼저 파악하고, 그 문제에 딱 맞는 맞춤형 채점표를 그 자리에서 만들어서 평가하기.
이제 AI 는 단순히 "정답을 맞췄나요?"를 넘어, **"이 질문의 맥락에서 가장 현명하고 안전한 답변을 했나요?"**를 평가받을 수 있게 되었습니다. 이는 AI 가 우리 삶에 더 깊이, 더 안전하게 들어오기 위한 중요한 한 걸음입니다.
1. 문제 정의 (Problem)
대규모 언어 모델 (LLM) 을 개방형 질문 (open-ended questions) 에 대해 평가하는 것은 매우 어렵습니다. 기존 평가 방식의 주요 한계점은 다음과 같습니다.
문맥 의존성 (Context-Dependency): 개방형 질문의 답변 품질은 질문의 맥락, 의도, 대상 독자 등에 따라 달라집니다. 예를 들어, 동일한 '의료' 태스크 내에서도 진단 질문은 안전성과 불확실성 관리가 중요하지만, 과학적 설명 질문은 논리적 엄밀성이 더 중요할 수 있습니다.
고정된 평가 기준의 부재: 기존의 이진 점수 (Binary scores) 나 정적 루브릭 (Static rubrics) 은 이러한 문맥 의존적 요구사항을 포착하지 못합니다.
데이터셋 수준의 일반화: 기존 방법들은 전체 데이터셋에 대해 한 번에 기준을 정의하거나, 단일 패시 (single-pass) 프롬핑팅을 사용하여 질문별로 암시되는 평가 공간 (evaluation space) 을 충분히 탐색하지 못합니다. 이는 중요한 평가 축 (evaluation axes) 을 누락시키거나, 인간 전문가가 고려할 문맥 의존적 요구사항을 놓치게 만듭니다.
2. 방법론 (Methodology: Qworld)
저자들은 Qworld(One-Question-One-World) 라는 새로운 방법을 제안합니다. 이는 각 질문에 특화된 평가 기준을 생성하기 위해 재귀적 확장 트리 (Recursive Expansion Tree, RET) 알고리즘을 사용합니다.
핵심 프로세스
Qworld 는 주어진 질문을 3 단계의 계층적 구조로 분해하고 확장합니다:
시나리오 그라운딩 (Scenario Grounding): 질문의 의도와 암시된 제약 조건 (대상 독자, 위험도, 배경 지식 등) 을 추론하여 다양한 시나리오를 도출합니다.
관점 도출 (Perspective Elicitation): 각 시나리오에 대해 답변의 품질을 결정하는 평가 관점 (사실적 정확성, 완전성, 안전성, 실용성 등) 을 추출합니다.
세부 기준 생성 (Criteria Instantiation): 각 관점에 대해 구체적이고 측정 가능한 이진 (Binary) 기준을 생성합니다. 각 기준은 중요도 가중치 (αc) 를 가지며, LLM 판정자 (Judge) 가 답변이 해당 기준을 충족하는지 확인합니다.
알고리즘: 재귀적 확장 트리 (RET)
기준 생성은 트리 구조를 통해 수행되며, 두 가지 확장 연산자를 사용합니다:
계층적 확장 (Hierarchical Expansion, Rh): 상위 노드 (시나리오) 를 하위 노드 (관점) 로 세분화합니다.
수평적 확장 (Horizontal Expansion, Rw): 현재 레벨에서 누락된 측면을 식별하고 형제 노드를 추가하여 포괄성을 높입니다.
이 과정은 질문을 "시나리오 → 관점 → 세부 기준"으로 재귀적으로 분해하여, 질문이 암시하는 모든 평가 축을 탐색하도록 설계되었습니다.
3. 주요 기여 (Key Contributions)
질문별 맞춤형 평가 기준 생성: 고정된 태스크 레벨 기준 대신, 각 질문의 고유한 맥락에 맞춰 평가 기준을 동적으로 생성하는 프레임워크를 제안했습니다.
재귀적 확장 트리 (RET) 알고리즘: 계층적 분해와 수평적 확장을 결합하여 기존 방법들이 놓치던 평가 차원을 발견하고 포괄성을 높이는 새로운 생성 메커니즘을 제시했습니다.
전문가 기준 대비 높은 커버리지와 독창성: 생성된 기준이 전문가가 작성한 기준을 얼마나 잘 커버하는지 (Coverage) 와 새로운 가치를 제공하는지 (Uniqueness) 를 정량적으로 입증했습니다.
LLM 능력 평가의 정밀화: 기존 벤치마크가 간과했던 '장기적 영향', '형평성', '오류 처리', '학제간 추론' 등의 차원에서 LLM 간의 미세한 성능 차이를 포착할 수 있음을 보였습니다.
4. 실험 결과 (Results)
실험은 HealthBench(의료 전문 지식) 와 Humanity's Last Exam (HLE) (추상적 추론) 에서 수행되었습니다.
A. 기준의 품질 (Criteria Quality)
커버리지 (Coverage): HealthBench 에서 전문가가 작성한 기준의 89% 를 커버했습니다 (기존 최상위 방법인 EvalAgent 의 83% 보다 우위).
독창성 (Uniqueness): 생성된 기준 중 79% 가 전문가 기준에 존재하지 않는 새로운 항목이었습니다 (기존 방법들은 24~50% 수준). 이는 Qworld 가 전문가가 명시하지 않았지만 중요한 평가 차원을 발견함을 의미합니다.
인사이트 및 세분화 (Insight & Granularity): 인간 전문가 평가에서 Qworld 기준은 Insight(0.83) 와 Granularity(0.85) 점수에서 기존 방법들 (0.29~0.42) 보다 월등히 높았습니다. 이는 기준이 단순한 체크리스트가 아닌, 문맥에 따른 심층적인 요구사항을 포착함을 의미합니다.
B. LLM 벤치마킹 효과
순위 변화: 11 개의 최첨단 LLM 을 평가했을 때, Qworld 기준을 적용하면 기존 벤치마크 순위와 큰 차이가 발생했습니다.
예: HealthBench 에서 Qwen3-30B 는 기존 점수 (6 위) 에서 Qworld 점수로 2 위로 상승했으며, Grok-4.1-Fast 는 4 위에서 6 위로 하락했습니다. 이는 Qwen3 이 환자 중심 소통, 형평성, 투명성 등 Qworld 가 강조한 차원에서 강점을 보였기 때문입니다.
점수 포화 완화: 기존 벤치마크는 모델 간 점수 차이가 작아 (Score Saturation) 구분이 어려웠으나, Qworld 는 더 엄격한 질문별 기준을 적용하여 모델 간 격차를 명확히 하고 절대 점수를 낮추어 평가의 엄격성을 높였습니다.
도메인 적응성: HLE 에서는 의료 특화 차원 대신 '수학적 엄밀성', '시각/기하학적 추론' 등 추상적 추론 관련 차원이 자동으로 생성되어 도메인에 맞는 평가가 가능함을 보였습니다.
5. 의의 및 결론 (Significance)
유연한 평가 패러다임: Qworld 는 "하나의 질문은 하나의 세계 (One-Question-One-World)"라는 철학을 통해, 고정된 평가 기준이 아닌 질문 자체에서 평가 축을 도출하는 새로운 패러다임을 제시합니다.
정밀한 모델 진단: 단순한 점수 합계가 아닌, 모델이 어떤 차원 (안전성, 형평성, 교육적 명확성 등) 에서 강하거나 약한지 구체적으로 진단할 수 있게 합니다.
확장성: 전문가의 수작업 비용 없이 LLM 을 활용하여 고품질의 질문별 기준을 대량으로 생성할 수 있어, 개방형 LLM 평가의 확장성을 크게 향상시킵니다.
결론적으로, Qworld 는 LLM 평가의 정밀도와 적응성을 획기적으로 개선하여, 실제 환경에서 LLM 의 복잡한 능력을 더 정확하게 측정하고 개선 방향을 제시할 수 있는 강력한 도구임을 입증했습니다.