Benchmarking the Benchmarks: Testing the Predictive Validity of Commonsense Benchmarks

Resumen Técnico: Evaluando los Benchmarks (Evaluando las Evaluaciones)

Planteamiento del Problema
Los entornos de evaluación estandarizados, particularmente los benchmarks de sentido común de opción múltiple estáticos, se utilizan ampliamente para inferir las capacidades de los Modelos de Lenguaje de Gran Escala (LLM). Sin embargo, el alcance con el que el rendimiento en estos benchmarks predice el comportamiento en tareas del mundo real sigue sin estar bien definido. Si bien los defectos de los benchmarks existentes (por ejemplo, artefactos, contaminación, anotaciones inestables) están bien documentados, la pregunta crítica ha cambiado: ¿sirven las puntuaciones de los benchmarks como indicadores válidos de la competencia del modelo en tareas posteriores? Específicamente, no está claro si los benchmarks "reprocesados" —diseñados para mitigar los defectos conocidos— realmente mejoran la validez de criterio (prediciendo resultados externos) o si simplemente preservan los rankings relativos de los modelos sin mejorar su utilidad para la inferencia de capacidades.

Metodología
El estudio evalúa 23 LLMs de pesos abiertos de seis familias (Llama 3, Gemma 2, Pythia, OPT, Qwen 2.5, Mistral) que oscilan entre 1B y 72B de parámetros. El diseño experimental consiste en una comparación exhaustiva a través de cuatro dimensiones:

1. Pares de Benchmarks: Los autores evalúan los modelos en cuatro benchmarks de sentido común establecidos y sus variantes reprocesadas:
   • WinoGrande vs. WinoWhat (parafraseado)
   • HellaSwag vs. GoldenSwag (filtrado)
   • Social IQA vs. Social IQA filtered
   • Physical IQA vs. Physical IQA-RUP (parafraseado)
2. Tareas Posteriores (Downstream): Los modelos son probados en ocho tareas posteriores que requieren razonamiento implícito, categorizadas en tres ejes conceptuales:
   • Social/Emocional: CEI, SARC7, False Beliefs.
   • Pragmático: Implicatura, Presuposición, Peticiones Indirectas.
   • Evento/Físico: TimeDial, TRIP.
3. Benchmarks de Control: Para distinguir la capacidad específica de sentido común de la capacidad general del modelo, el estudio incluye controles no relacionados con el sentido común: BLiMP, GPQA-Diamond y MMLU-Redux.
4. Protocolo de Evaluación: Todas las tareas utilizan un formato de opción múltiple basado en verosimilitud de log (log-likelihood) para asegurar la uniformidad. El análisis emplea:
   • Correlaciones de Spearman de pares para evaluar los rankings de los modelos.
   • Correlaciones parciales de Spearman controlando el tamaño del modelo, la familia y el rendimiento del benchmark de control.
   • Validación cruzada de dejar fuera una familia (LOFOCV) utilizando regresión Ridge para probar la validez predictiva para familias de modelos no vistas.
   • Transformaciones Fisher-z y bootstrapping no paramétrico para estimar intervalos de confianza.

Contribuciones Clave y Resultados

• Preservación de Rankings vs. Validez: El estudio encuentra que los benchmarks reprocesados preservan en gran medida los rankings de sus contrapartes originales. La excepción es WinoWhat, que correlaciona menos fuertemente con WinoGrande y otros benchmarks, lo que sugiere que captura comportamientos de modelos distintos. Sin embargo, estas revisiones no mejoran sistemáticamente la validez predictiva de criterio. En la mayoría de los casos, la diferencia en la correlación entre los benchmarks originales y los reprocesados respecto a las tareas posteriores es insignificante. Notablemente, el WinoGrande original es sustancialmente más predictivo de la tarea False Beliefs que su variante reprocesada WinoWhat.
• Transferencia Estrecha a Tareas Posteriores: Los benchmarks de sentido común muestran una validez predictiva trans-familiar consistente solo para un subconjunto estrecho de tareas posteriores.
  • Predictores más Fuertes: False Beliefs y TRIP muestran las asociaciones más fuertes y consistentes con las puntuaciones de los benchmarks de sentido común.
  • Ganancias Específicas de Métrica: Implicature, Indirect Requests y TimeDial muestran ganancias solo para métricas específicas (por ejemplo, macro-F1 o precisión), no para ambas.
  • Predictores Pobres: CEI (Inferencia Emocional) y SARC7 (Sarcasmo) siguen siendo pobremente predichos por los benchmarks de sentido común.
• Falta de Especificidad de Dominio: La hipótesis de que los benchmarks transfieren mejor a las tareas posteriores dentro del mismo eje conceptual (por ejemplo, que Social IQA prediga tareas sociales) no es respaldada. Mientras que los benchmarks de Evento/Físico muestran cierta alineación con tareas de plausibilidad física, el eje pragmático muestra el patrón opuesto. Globalmente, los pares emparejados suelen ser más débiles que los pares no emparejados, lo que indica que las etiquetas de los benchmarks no mapean de manera confiable hacia capacidades posteriores finas.
• Capacidad General vs. Habilidad Específica: Al controlar el tamaño del modelo, la familia y el rendimiento en los controles no relacionados con el sentido común, la significancia estadística de la mayoría de las correlaciones disminuye. Esto sugiere que las transferencias observadas a menudo reflejan una capacidad amplia del modelo en lugar de un razonamiento de sentido común distinto. Sin embargo, los resultados de LOFOCV indican que las puntuaciones de sentido común sí retienen cierta información incremental y trans-familiar para False Beliefs y TRIP.

Significancia y Reivindicaciones
El artículo argumenta que los benchmarks de sentido común estandarizados proporcionan evidencia de competencia de sentido común dependiente de la tarea, en lugar de una evidencia amplia. Los autores afirman que:

1. Las revisiones no garantizan la validez: Limpiar los conjuntos de datos para eliminar artefactos o ambigüedades mejora la calidad interna, pero no se traduce automáticamente en una mejor validez de criterio o en indicadores más útiles para la selección de modelos.
2. Generalización Limitada: El rendimiento en benchmarks como HellaSwag, Social IQA o Physical IQA no debe interpretarse como evidencia amplia de habilidades de razonamiento pragmático, social o contextual. La relación entre las puntuaciones de los benchmarks y las tareas posteriores es desigual y rara vez se alinea con los subdominios implicados por los metadatos de los benchmarks.
3. Cambio en las Prioridades de Evaluación: El estudio aboga por un cambio en el paradigma de benchmarking. En lugar de refinar repetidamente conjuntos de datos estáticos aislados, la comunidad debería priorizar la construcción de suites de evaluación donde las puntuaciones sean demostrablemente informativas sobre comportamientos y aplicaciones específicas. Las afirmaciones sobre las capacidades de los modelos requieren evidencia de validez de criterio: las puntuaciones deben generalizarse a tareas externas que instancien la capacidad pretendida en diferentes contextos y formatos, contribuyendo información más allá de la capacidad general del modelo.

Los autores concluyen que, si bien los benchmarks de sentido común son informativos para tareas específicas como False Beliefs y TRIP, no respaldan de manera confiable afirmaciones finas sobre distintas subhabilidades de sentido común o una competencia pragmática amplia.