What Do Resume–Job Matching Benchmarks Actually Measure? Keywords, Embeddings and LLMs on Public Data
이 논문은 현재의 방법들이 데이터 누수와 노이즈가 있는 레이블에 의존하고, 마크다운과 같은 표면적인 형식적 인공물에 취약하며, 단순한 키워드 베이스라인 대비 완만한 성능 향상만을 제공함(LLM 판정자가 임베딩을 유의미하게 능가하지 못함)을 입증함으로써 공공 이력서-직무 매칭 벤치마크를 비판적으로 평가하고, 미학습 이력서 분할(unseen-resume splits)과 데이터 정제를 포함한 더 엄격한 평가 프로토콜을 권고한다.