Designing Reliable LLM-as-a-judge Measurement Systems for Multi-turn Business Agents
本論文は、モジュール型のLLMジャッジ、意図を保持するユーザーシミュレーション、およびヒューマン・イン・ザ・ループによるガバナンスを統合することで、エージェントの性能とビジネス知識のギャップを信頼性が高く実用的な形で測定することを保証する、マルチターン・ビジネスエージェント評価のための実用的かつ保守可能なフレームワークを提示する。