What Do Resume–Job Matching Benchmarks Actually Measure? Keywords, Embeddings and LLMs on Public Data
本論文は、既存の手法がデータ漏洩やノイズの多いラベルに依存していること、マークダウンのような表層的なフォーマットの痕跡に対して脆弱であること、そして単純なキーワードベースのベースラインに対してわずかな改善しか提供できていないこと(LLMによる評価も埋め込みモデルを大幅に上回っていないこと)を示すことで、公開されている履歴書と求人のマッチングベンチマークを批判的に評価し、それゆえに未学習の履歴書による分割やデータのクリーニングを含む、より厳格な評価プロトコルを推奨するものである。