The Embedder's Dilemma: LLMs Are Better, but at What Cost?

Resumen Técnico: El Dilema del Generador de Embeddings (The Embedder's Dilemma)

Planteamiento del Problema
El artículo aborda una pregunta crítica de despliegue en el procesamiento de lenguaje natural: ¿deberían los profesionales reemplazar las canalizaciones (pipelines) especializadas de embeddings de texto por Modelos de Lenguaje Extensos (LLMs) para tareas como la clasificación, la similitud semántica textual (STS), el agrupamiento (clustering) y la recuperación (retrieval)? Aunque los LLMs han demostrado capacidades emergentes en entornos zero-shot, sus costos de inferencia y características de rendimiento (throughput) difieren drásticamente de los modelos de embeddings dedicados. Los autores enmarcan esto como el "Dilema del Generador de Embeddings": los LLMs ahora pueden igualar el rendimiento agregado de los mejores modelos de embeddings, pero a un costo computacional y financiero significativamente mayor.

Metodología
El estudio introduce MTEB(LLM), un benchmark controlado y consciente del costo que compara dos paradigmas a través de 37 tareas repartidas en cinco categorías: clasificación, STS, clustering, clasificación de pares y recuperación.

• Modelos Evaluados: Los autores comparan 10 LLMs de vanguardia (de seis familias, incluyendo Gemini 3.1 Pro, Qwen3, DeepSeek-R1 y Kimi) frente a 26 modelos de embeddings de texto (que van desde 118M hasta 14B de parámetros, incluyendo Octen-8B, Qwen3-E y Jina-v5).
• Protocolo de Evaluación:
  • LLMs: Evaluados mediante prompting zero-shot (con salida JSON estructurada). Para la recuperación, se utilizó un protocolo de "corpus-en-contexto" donde el corpus completo (82–415 documentos) se colocaba en el prompt, permitiendo que el LLM leyera todos los documentos conjuntamente con la consulta.
  • Modelos de Embeddings: Evaluados utilizando canalizaciones de despliegue estándar: k-Nearest Neighbors (kNN) para clasificación, similitud de coseno para STS y recuperación, y k-means para clustering.
  • Contabilidad de Costos: Los costos se calcularon con precisión. Los costos de los LLMs se derivaron de las estadísticas de uso de la API (tokens de entrada, salida, razonamiento y caché), mientras que los costos de los embeddings se calcularon basándose en benchmarks de rendimiento máximo en una sola GPU NVIDIA H100 ($2.49/hr).
• Estudios de Ablación: Los autores investigaron el impacto de los "tokens de razonamiento" (cadena de pensamiento o chain-of-thought) deshabilitando o reduciendo los presupuestos de razonamiento en modelos específicos, y probaron el prompting few-shot para tareas de clasificación.

Contribuciones Clave

1. Benchmark MTEB(LLM): El primer benchmark que compara LLMs y modelos de embeddings a través de todas las cinco categorías de tareas de MTEB con la medición simultánea de calidad y costo.
2. Análisis de la Frontera de Pareto: El artículo construye una frontera de Pareto de costo-rendimiento, revelando que, si bien los LLMs pueden alcanzar puntuaciones de primer nivel, lo hacen con un enorme sobrecosto en comparación con los embeddings especializados.
3. El "Impuesto del Token de Razonamiento" (Thinking-Token Tax): El estudio cuantifica el costo del razonamiento interno, encontrando que los tokens de razonamiento representan entre el 28% y el 81% de los costos de inferencia de los LLMs.
4. Disección del Rendimiento por Tarea: El trabajo va más allá de las puntuaciones agregadas para demostrar que la superioridad de un paradigma sobre el otro es estrictamente dependiente de la tarea.

Resultados Clave

• Paridad Agregada: En agregado, los dos paradigmas están efectivamente empatados. El mejor LLM (Gemini 3.1 Pro, 77.6) y el mejor modelo de embedding (Octen-8B, 77.2) difieren solo por 0.4 puntos, un margen dentro del ruido estadístico.
• Divergencia Específica de la Tarea:
  • Recuperación (Retrieval): Los LLMs lideran significativamente (+8.5 puntos) en tareas de recuperación con alta carga de razonamiento (ej. FQuAD, LegalBench Consumer Contracts) donde se requiere razonamiento entre múltiples documentos.
  • Clasificación: Los modelos de embedding lideran significativamente (-5.6 puntos) en tareas de clasificación, particularmente en las de grano fino (ej. Banking77 con 77 clases), donde los clasificadores kNN entrenados con conjuntos etiquetados completos superan a los LLMs zero-shot.
  • STS, Clustering, Clasificación de Pares: Los paradigmas están estadísticamente empatados.
• Disparidad de Costo y Rendimiento (Throughput):
  • Costo: Lograr una calidad comparable es costoso. Gemini 3.1 Pro cuesta 1,431 veces más que un modelo de embedding comparable (Octen-8B) por cada pasada del benchmark ($154 vs. $0.11). Esta relación se mantiene en varios escenarios de hardware (variando de 338× a 2,424×).
  • Rendimiento (Throughput): En el mismo hardware H100, los modelos de embedding procesan tokens de 2.5× a 736× más rápido que los LLMs de pesos abiertos.
• Ablación de Razonamiento: Reducir o deshabilitar los presupuestos de razonamiento (ej. establecer reasoning_effort=low) preserva o incluso mejora la calidad de la recuperación para la mayoría de los modelos, al tiempo que reduce la generación de tokens entre un 54% y un 96%. Esto sugiere que los presupuestos de razonamiento predeterminados suelen ser un desperdicio para estas tareas específicas.
• Limitaciones de Few-Shot: Añadir cinco ejemplos en contexto a los LLMs no cerró la brecha de clasificación con los modelos de embedding; en algunos casos, incluso degradó el rendimiento.

Significancia y Reivindicaciones
El artículo argumenta que la elección entre LLMs y modelos de embeddings no debe basarse en una única métrica de "mejor modelo", sino en una división del trabajo impulsada por los requisitos de la tarea y las restricciones de costo.

• Arquitectura Híbrida: Los autores proponen una canalización híbrida como la solución óptima: utilizar modelos de embedding eficientes para la recuperación de candidatos de alto rendimiento, similitud, clasificación y clustering, y reservar los LLMs específicamente para el reordenamiento (reranking) de recuperación con alta intensidad de razonamiento.
• Reevaluación de los Leaderboards: El estudio destaca que los leaderboards basados únicamente en la precisión ocultan diferencias de costo masivas. Aboga por reportar fronteras de Pareto y métricas conscientes del costo junto con la precisión para guiar las decisiones de despliegue práctico.
• Eficiencia de la Especialización: Los resultados apoyan la relevancia continua de los modelos de embeddings especializados. Si bien los LLMs han cerrado la brecha de calidad en el agregado, no han superado la eficiencia o las fortalezas específicas de los embeddings en tareas de clasificación y similitud geométrica. El "dilema" se resuelve reconociendo que los LLMs son una herramienta especializada para el razonamiento, no un reemplazo universal para las canalizaciones de embeddings.