The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents
Questo articolo analizza i dati sulle prestazioni degli agenti di IA all'avanguardia per rivelare un significativo "gap di affidabilità" in cui la durata del compito che un agente può completare costantemente è circa 2,4 volte più breve del suo orizzonte di capacità media, principalmente perché i fallimenti sono fortemente correlati all'interno di compiti specifici piuttosto che essere casuali, rendendo necessario un passaggio dei parametri di valutazione dalla media del successo agli orizzonti corretti per l'affidabilità per una distribuzione sicura.