BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs
이 논문은 NLI 기반 크로스-인코더, 임베딩 모델, 리랭커, 그리고 지시 튜닝 LLM 등 다양한 아키텍처의 제로샷 텍스트 분류 능력을 공정하게 평가하기 위해 22 개의 데이터셋으로 구성된 벤치마크 'BTZSC'를 제안하고, 현대 리랭커가 새로운 최첨단 성능을 달성했으며 임베딩 모델이 정확도와 지연 시간 간 최적의 균형을 보인다는 결과를 제시합니다.