Mind the Alignment Gap: A Spatial Transcriptomics Benchmark for Scientific Coding Agents
Dieses Paper führt ein interaktives Framework für das Benchmarking wissenschaftlicher Coding-Agenten unter Verwendung von Alignment-Aufgaben der räumlichen Transkriptomik ein, welches aufzeigt, dass ein reichhaltigerer Umgebungskontext zwar die Werkzeugexploration erhöht, die Leistung jedoch durch die Induktion fragiler Arbeitsabläufe und unnötiger Transformationen verschlechtern kann, wodurch die Notwendigkeit hervorgehoben wird, Agenten-Traces neben den finalen Outputs zu evaluieren.