Target-Workload Auditing for Quality-Constrained LLM Routing
Dieses Paper schlägt ein Target-Workload-Audit-Framework für qualitätsbeschränktes LLM-Routing vor, das Referenzmodellfehler nutzt, um ökonomische „Cheap-Only“-Rescues zu ermöglichen, wobei durch umfangreiche Experimente gezeigt wird, dass target-zertifiziertes Random Routing und Paired Certification bestehende Methoden bei der Abwägung von Kosteneinsparungen mit strengen Qualitäts- und Schadensbeschränkungen signifikant übertreffen.