Novel Claim or Déjà Vu? Rethinking "Contamination-Free'' Dynamic Evaluation for Multimodal Automated Fact-Checking
本論文は、動的なベンチマークが本質的にコンタミネーション(汚染)フリーであるという仮定に異を唱えるものであり、カットオフ以降の主張の大部分が既存の知識を通じて検証可能であることを示すことで、マルチモーダルなファクトチェック性能を人工的に膨張させ、システム間のランキングを歪ませる可能性があることを実証し、それゆえに、より厳格な評価プロトコルが必要であることを提起している。