Prosa: Rubric-Based Evaluation of LLMs on Real User Chats in Brazilian Portuguese

기술 요약: Prosa – 브라질 포르투갈어 실제 사용자 채팅에 대한 LLM 의 rubric 기반 평가

문제 제기
현재 오픈 엔디드 언어 생성의 자동 평가는 두 가지 주요 한계에 직면해 있습니다. 첫째, 전통적인 n-그램 중첩 지표 (예: BLEU, ROUGE) 는 인간 판단과 약하게 상관관계를 가지며, 특히 고품질 시스템 간을 구분하는 데 실패합니다. 둘째, "LLM-as-a-judge" 패러다임은 인간 전문가와의 상관관계를 개선했지만, **전체적 점수 (holistic scoring)**에 의존합니다. 여기서 판사는 여러 품질 차원을 단일 점수나 쌍별 선호도로 축소합니다. 저자들은 이러한 전체적 접근 방식이 불투명하며 선택된 판사 모델의 특정 편향에 매우 민감하다고 주장합니다. 더 나아가, 브라질 포르투갈어에 대한 기존 벤치마크는 학술적 객관식 시험이나 번역된 영어 과제로 지배되어 있으며, 브라질의 특정 문화적 및 언어적 맥락 내에서 자연스럽게 발생하는 다중 턴 사용자 상호작용에 기반한 평가가 부족합니다.

방법론
본 논문은 세 가지 핵심 설계 선택을 통해 이러한 격차를 해결하도록 설계된 벤치마크 및 평가 프로토콜인 Prosa를 소개합니다.

1. 실제 데이터 구축: Prosa 는 WildChat 저장소에서 파생된 데이터셋을 기반으로 하며, 320 만 개의 대화를 브라질 포르투갈어로 된 1,000 개의 고품질 다중 턴 상호작용으로 필터링합니다. 필터링 파이프라인 (그림 1) 은 IP 고유성, 토큰 길이, 의미적 중복 제거와 같은 규칙 기반 확인과 난이도 분류, 주제 할당, 그리고 부조리 의도 감지와 같은 LLM 기반 필터를 사용하여 데이터가 검증 가능하고, 중복되지 않으며, 도전적인 사용자 작업을 반영하도록 보장합니다.
2. 분해된 Rubric 기반 점수 매기기: 전체적 점수 매기기 대신 Prosa 는 이진 통과/실패 rubric 시스템을 활용합니다. 각 대화에 대해 생성기 모델 (GPT-5.2) 은 대화 기록과 참조 응답을 기반으로 일련의 원자적 이진 기준을 생성합니다. 그런 다음 판사 모델은 이러한 기준에 따라 각 응답을 평가하여 각 rubric 에 대해 YES/NO 판정을 내립니다. 최종 점수는 0~100 으로 스케일링된 **분해된 요구 사항 준수 비율 (Decomposed Requirements Following Ratio, DRFR)**입니다.
3. 다중 판사 사후 필터링: 점수 매기기 전에 생성된 rubric 을 필터링하여 저품질 기준을 제거하는 새로운 파이프라인이 있습니다. 이 파이프라인은 세 명의 서로 다른 판사 (GPT-4.1, Gemini 3 Flash, Sabiá-4) 가 평가한 16 개의 후보 모델의 경험적 순위에서 작동합니다. 다음 rubric 들을 제거합니다.
   • 사소한 (Trivial): 모든 후보가 통과한 것.
   • 불가능한 (Impossible): 모든 후보가 실패한 것.
   • 정렬되지 않은 (Misaligned): 상위 점수 후보는 실패하고 하위 점수 후보는 통과하는 경우.
   • 불안정한 (Unstable): 온도 0 에서 반복 실행 시 판정이 변경되는 경우.

주요 기여

• Prosa 벤치마크: rubric 기반 LLM-as-a-judge 를 통해 평가된 최초의 실제 사용자 다중 턴 브라질 포르투갈어 채팅 벤치마크.
• 방법론적 통찰: 판사 모델 자체의 선택보다 판단을 원자적 이진 판정으로 분해하는 것이 순위 안정성에 더 중요하다는 증명.
• 필터링 파이프라인: "프론티어" 판사 모델이 필요 없이 평가의 구별력을 크게 향상시키는 자동 사후 rubric 필터링 메커니즘.
• 비용 효율성: 더 비싼 판사가 얻은 순위를 재현하면서 더 저렴한 모델 (예: 후보당 약 $2.1 의 Gemini 3 Flash) 을 사용하여 고정밀 평가를 가능하게 하는 프로토콜.

결과
저자들은 세 가지 프로토콜 (전체적 점수 매기기, 필터링되지 않은 rubric 점수 매기기, 필터링된 rubric 점수 매기기) 하에서 세 가지 다른 판사를 사용하여 네 가지 계열 (OpenAI, Google, Alibaba, Maritaca AI) 의 16 개 모델을 평가했습니다.

• 순위 안정성: 전체적 점수 매기기 하에서 세 판사는 16 개 순위 중 7 개만 일치했습니다 (스피어만 상관관계 0.986). 필터링된 rubric 점수 매기기 하에서 판사들은 **완벽한 일치 (16/16 순위, 스피어만 1.000)**를 달성했습니다.
• 구별력: 필터링 파이프라인은 인접한 모델 간의 평균 점수 차이를 47% 증가시켰습니다 (2.22 에서 3.26 포인트로) 그리고 최상위에서 최하위까지의 범위를 33.3 에서 48.9 포인트로 확장했습니다.
• 모델 성능: 최종 리더보드 (표 4) 에 따르면 GPT-5.2 가 1 위 (88.6) 를 차지했으며, 그 뒤를 GPT-5 Mini 와 Gemini 3 Pro 가 바짝 뒤쫓았습니다. 주목할 점은 오픈 가중치 Qwen3-235B(80.1) 가 GPT-4.1 과 Gemini 3 Flash 를 능가하여 4 위를 차지했다는 것입니다. Maritaca AI 모델 Sabiá-4는 9 위 (70.2) 를 기록하여 Sabiá-3.1 대비 상당한 세대 개선을 보여주었습니다.
• 비용: Gemini 3 Flash 를 사용하여 새로운 후보를 평가하는 비용은 약 $2.1로, Arena-Hard-Auto($20/후보) 와 같은 비교 가능한 벤치마크보다 한 자릿수 더 저렴합니다.

의의 및 주장
이 논문은 신뢰할 수 있는 LLM 평가의 주요 동인이 판사 모델의 정교함보다는 판단을 원자적 이진 결정으로 분해하는 것이라고 주장합니다. 전체적 점수 매기기에서 필터링된 rubric 점수 매기기 로 전환함으로써 평가는 사용된 특정 판사에 불변하게 되어, 연구자들은 순위 충실도를 희생하지 않고도 더 저렴하고 빠른 모델을 사용할 수 있게 됩니다.

저자들은 이 방법론이 대규모 평가의 장벽을 낮추고 평가 외에도 **보상 모델링 (reward modeling)**에 재사용될 수 있는 세밀한 품질 신호 (rubric 별 판정) 를 제공한다고 주장합니다. 그들은 벤치마크가 브라질 포르투갈어에 특화되어 있지만, 분해되고 필터링된 rubric 평가의 핵심 메커니즘은 다른 언어와 오픈 엔디드 평가 설정으로 이전 가능할 것이라고 결론지었습니다. 저자들은 재현성과 향후 모델에 대한 동일한 평가 조건을 보장하기 위해 벤치마크, 필터링 코드, rubric 을 공개합니다.