Researchers waste 80% of LLM annotation costs by classifying one text at a time

Título: Los investigadores desperdician el 80% de los costos de anotación de LLMs al clasificar un texto a la vez

1. El Problema

El uso de Modelos de Lenguaje Grande (LLMs) para el análisis de contenido automatizado en ciencias sociales se ha estandarizado. Sin embargo, existe una práctica casi universalmente conservadora en la implementación: los investigadores envían un texto, una variable y un prompt por llamada a la API.

• Ineficiencia: Clasificar 100,000 textos con 4 variables requiere 400,000 llamadas a la API.
• Costo: Esta metodología genera un desperdicio masivo de recursos, ya que las instrucciones del prompt se transmiten repetidamente en cada llamada.
• Brecha de conocimiento: Aunque la literatura de ciencias de la computación sugiere que el "batching" (agrupación) es viable en benchmarks pequeños, no se ha probado sistemáticamente si agrupar textos (batching) y apilar múltiples dimensiones de codificación (variable stacking) en un solo prompt degrada la calidad de la clasificación en tareas de análisis de contenido social, ni si estos efectos se combinan negativamente.

2. Metodología

Los autores realizaron una prueba sistemática exhaustiva para evaluar el impacto del tamaño del lote y la apilación de variables en la precisión y el costo.

• Datos: Se utilizaron 3,962 tweets etiquetados por expertos (de Gilardi et al., 2023) sobre moderación de contenido. Las etiquetas de verdad absoluta (ground-truth) cubrían cuatro variables: relevancia, problema/solución, postura (stance) y tema.
• Modelos: Se probaron 8 LLMs de producción de 4 proveedores diferentes (Anthropic, OpenAI, Google, Alibaba), incluyendo modelos de razonamiento y modelos de menor costo.
• Diseño Experimental:
  • Estudio 1 (Batching): Se varió el tamaño del lote ($b$) de 1 a 1, 1,000 textos por prompt. Se probaron 9 tamaños de lote ($1, 5, 10, 25, 50, 100, 250, 500, 1000$).
  • Estudio 2 (Variable Stacking): Se cruzaron 3 niveles de apilamiento de variables ($k$): 4 (variables reales), 10 (4 reales + 6 ficticias) y 25 (4 reales + 21 ficticias), con tamaños de lote de 25 y 250.
  • Controles: Se incluyó un grupo de control con la misma longitud de tokens que el apilamiento máximo ($k=25$) pero solo con 4 variables reales, para aislar el efecto de la complejidad de la tarea frente a la longitud del prompt.
• Métrica Principal: Precisión (proporción de coincidencia con la verdad absoluta) y tasa de fallos de análisis (parse failures).

3. Contribuciones Clave

• Primera prueba sistemática: Es el primer estudio que evalúa simultáneamente el batching y el stacking a gran escala (960,000 clasificaciones) en modelos de producción.
• Desmitificación de la longitud del prompt: Demostraron que la degradación de la calidad no se debe a la longitud del prompt (número de tokens), sino a la complejidad de la tarea (gestionar múltiples esquemas de clasificación simultáneamente).
• Guía de configuración segura: Establecen rangos operativos seguros donde se pueden reducir drásticamente los costos sin sacrificar la validez científica.

4. Resultados Principales

• Ahorro de Costos: Agrupar 25 ítems y apilar todas las variables reduce las llamadas de API de 400,000 a 4,000, logrando un ahorro de costos superior al 80% en tokens.
• Estabilidad del Batching:
  • Seis de los ocho modelos mantuvieron una precisión estable (pérdida < 2 puntos porcentuales) hasta un tamaño de lote de 100.
  • Claude Haiku 4.5 fue el más robusto, con una caída máxima de solo 1.1 pp en todos los tamaños de lote.
  • Modelos de Razonamiento (OpenAI): Los modelos GPT-5-nano y GPT-5-mini colapsaron en lotes grandes ($b \ge 250$), perdiendo 27-36 puntos de precisión debido a fallos de análisis, probablemente por no poder operar a temperatura 0.
  • Efecto en Variables: La variable "Relevancia" fue la más sensible, mientras que la variable "Tema" mostró una ligera mejora en lotes grandes, posiblemente debido a información distribucional implícita de los tweets co-presentados.
• Efecto del Apilamiento (Stacking):
  • Apilar hasta 10 dimensiones produjo resultados comparables a la codificación de una sola variable (pérdida < 2.2 pp).
  • Apilar 25 dimensiones causó una degradación mayor (1.6–6.1 pp), pero esto se debió a la complejidad de gestionar múltiples tareas, no a la longitud del texto.
• Interacción: La interacción entre tamaño de lote y apilamiento fue aditiva, no multiplicativa. Esto significa que los investigadores pueden optimizar ambas dimensiones sin sufrir una penalización compuesta.
• Error de Medición vs. Consenso Humano: El error de medición introducido por el batching y stacking dentro de los rangos seguros es menor que el desacuerdo típico entre codificadores humanos en los datos de referencia (6-21%).

5. Significado e Implicaciones

• Viabilidad de Estudios a Gran Escala: Las configuraciones recomendadas (lotes de 25-100 y apilamiento de hasta 10 variables) hacen que proyectos masivos (ej. 100,000 tweets) sean económicamente viables, reduciendo costos estimados de ~$337 a menos de $50 (o <$10 con modelos de presupuesto).
• Validación Científica: La degradación de precisión dentro de estos rangos es estadísticamente insignificante en comparación con la variabilidad inherente a la codificación humana. Por lo tanto, estas ganancias de eficiencia caen dentro de la tolerancia que el campo ya acepta para datos codificados por humanos.
• Recomendaciones Prácticas:
  • La elección del modelo es más crítica que el tamaño del lote; la brecha entre el mejor y el peor modelo supera la variación causada por el tamaño del lote.
  • Se debe evitar el uso de modelos de razonamiento (como GPT-5-nano) para lotes grandes si no se puede fijar la temperatura en 0.
  • Los investigadores deben reportar el tamaño del lote y la configuración de apilamiento junto con el nombre del modelo y el diseño del prompt, ya que son grados de libertad metodológicos importantes.

En conclusión, el artículo demuestra que la práctica conservadora actual de "un texto, una variable" es innecesariamente costosa y que, mediante una configuración adecuada de batching y stacking, se puede lograr una eficiencia masiva sin comprometer la calidad de los datos en la mayoría de los modelos de LLM actuales.