WARC-Bench: Web Archive Based Benchmark for GUI Subtask Executions
Il documento introduce WARC-Bench, un nuovo benchmark che utilizza file Web ARChive per valutare agenti AI multimodali su sottocompiti GUI complessi, dimostrando che, sebbene i modelli all'avanguardia attuali abbiano difficoltà, i modelli open-source migliorano significativamente grazie al fine-tuning supervisionato e all'apprendimento per rinforzo con ricompense verificabili, raggiungendo prestazioni competitive.