RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering

Resumen Técnico: RECOM – Un compromiso entre validez y discriminación en métricas automáticas para la respuesta de preguntas abiertas en Reddit

Planteamiento del problema

Las métricas automáticas son el estándar para evaluar los resultados de los Grandes Modelos de Lenguaje (LLM), pero tienen la tarea implícita de cumplir dos funciones distintas: validez (distinguir el alineamiento genuino del contenido frente a la coincidencia superficial) y poder discriminativo (clasificar de manera fiable un sistema mejor frente a uno peor). En tareas abiertas y basadas en opiniones, como la respuesta de preguntas conversacional, estos dos objetivos parecen estar en tensión. Aunque las métricas se tratan habitualmente como una única propiedad "buena", este artículo postula que ninguna métrica actual logra alcanzar simultáneamente una alta validez y un alto poder discriminativo. Los conjuntos de datos de evaluación existentes suelen basarse en preguntas de hechos con respuestas objetivamente verificables (por ejemplo, FreshQA, RealTimeQA), que no logran capturar el matiz del consenso comunitario en contextos basados en opiniones. Además, las métricas estándar carecen a menudo de un "suelo de línea base aleatoria", lo que dificulta determinar si una puntuación alta refleja un alineamiento genuino o simplemente las propiedades estadísticas de un texto fluido en inglés.

Metodología

Para investigar este compromiso, los autores introducen RECOM (Reddit Evaluation for Correspondence of Models), un conjunto de datos y un flujo de trabajo de evaluación libres de contaminación.

• Construcción del conjunto de datos: RECOM consta de 15.000 preguntas abiertas de r/AskReddit recopiladas en septiembre de 2025. La ventana de recopilación se eligió específicamente para ser posterior a los cortes de entrenamiento de todos los modelos evaluados (que oscilan entre finales de 2023 y finales de 2024), garantizando que no haya contaminación de datos. Para cada pregunta, la "verdad de campo" se define no como una única respuesta correcta, sino como el conjunto de respuestas comunitarias de profundidad-1 (respuestas humanas directas) auténticas, preservando la distribución completa de las perspectivas de la comunidad.
• Modelos evaluados: Se evaluaron cinco LLM de código abierto (7B–10B de parámetros): Mistral-7B, Qwen2.5-7B, Granite3.1-Dense-8B, Falcon3-10B y Llama-3.1-8B. Todos los modelos fueron instados a generar respuestas de menos de 50 palabras.
• Protocolo de evaluación:
  • Puntuación de referencias múltiples: Cada respuesta generada fue puntuada contra todas las respuestas comunitarias de profundidad-1 para un post dado.
  • Familias de métricas: El estudio evaluó métricas léxicas (BLEU, ROUGE), semánticas (BERTScore, MoverScore, Similitud de Coseno) e inferenciales (NLI).
  • Línea base de derangement aleatorio: Para medir la validez, se estableció una línea base de derangement aleatorio donde las respuestas generadas se emparejaban con respuestas de diferentes publicaciones. Esto crea un "suelo de ruido" para medir la separación entre el alineamiento real y la coincidencia aleatoria.
  • Métricas de interés: Los autores calcularon la $d$ de Cohen para dos ejes:
    1. Validez: El tamaño del efecto que separa las generaciones reales de los emparejamientos aleatorios.
    2. Poder discriminativo: El tamaño del efecto que separa los cinco modelos diferentes entre sí.
  • Validación mediante LLM-como-juez: Se utilizaron tres jueces de LLM independientes (Phi-4, Gemma-3, Yi-1.5) de diferentes desarrolladores para puntuar los mismos datos en "Relevancia" y "Fidelidad" para corroborar el eje de validez.
  • Control de longitud: Para descartar la longitud de la respuesta como una variable de confusión, los autores realizaron análisis de regresión y residualización de recuentos de palabras.

Contribuciones clave

1. Identificación de un compromiso: El artículo identifica y cuantifica un compromiso sistemático entre validez y discriminación. Las métricas que sobresalen al separar el alineamiento genuino del ruido (alta validez) fallan al clasificar los modelos (bajo poder discriminativo), y viceversa.
2. El conjunto de datos RECOM: Un benchmark de 15.000 preguntas abiertas libre de contaminación y de acceso público con referencias múltiples comunitarias auténticas, diseñado específicamente para medir ambos ejes de las métricas frente a una línea base aleatoria.
3. Hipótesis del diseño de representación: Los autores proponen que el compromiso surge del diseño de la representación. Específicamente, los codificadores de frases entrenados contrastivamente (utilizados en la similitud de coseno) agudizan la distinción entre texto relacionado y no relacionado (validez) pero colapsan las sutiles variaciones entre diferentes sistemas de alta calidad (poder discriminativo).
4. Marco de reporte: Los autores abogan por reportar las métricas en un espacio bidimensional (validez vs. poder discriminativo) con un suelo explícito de la línea base aleatoria, en lugar de depender de puntuaciones brutas.
5. Descubrimiento de artefactos de longitud: El estudio demuestra que el aparente poder discriminativo de la precisión de BERTScore es en gran medida un artefacto de la longitud de la respuesta. Una vez controlada la longitud, la capacidad de BERTScore para clasificar modelos colapsa.

Result Resultados

• Métricas léxicas (BLEU/ROUGE): Estas métricas mostraron una alta validez (separando claramente lo real de lo aleatorio, con $d$ de Cohen $\approx 2$) pero casi ningún poder discriminativo ($|d| < 0.1$). Los modelos se agruparon estrechamente y las clasificaciones fueron inestables entre las variantes de las métricas.
• Métricas semánticas:
  • Similitud de Coseno: Exhibió la mayor validez (brecha real-vs-aleatorio $\approx 24$ puntos porcentuales, $d \approx 2$) pero falló en discriminar entre modelos ($|d| < 0.1$). Las puntuaciones para los cinco modelos fueron casi idénticas.
  • BERTScore: La precisión bruta de BERTScore parecía tener un alto poder discriminativo ($|d|$ hasta 0.63), clasificando los modelos de forma distinta. Sin embargo, esta clasificación correlacionaba perfectamente con la longitud de la respuesta (los modelos más cortos puntuaban más alto). Cuando se residualizó la longitud de la respuesta, el poder discriminativo colapsó a $|d| = 0.09$, volviéndolo insignificante. Además, las puntuaciones F1 brutas de BERTScore (85–86%) estuvieron solo 1–3 puntos porcentuales por encima de la línea base aleatoria, indicando una validez débil sin reescalado.
  • MoverScore: Mostró una validez moderada y un poder discriminativo moderado que no fue impulsado por la longitud, pero su señal general fue más débil que la de la similitud de coseno.
• LLM-como-juez: Tres jueces independientes reprodujeron la brecha de validez (separando lo real de lo aleatorio con grandes tamaños de efecto, $d \approx 2.0\text{--}3.5$) pero, al igual que las métricas automáticas, fallaron en separar fuertemente los cinco modelos ($|d|$ se mantuvo bajo).
• Análisis de longitud: La longitud de la respuesta explicó muy poco de la brecha real-vs-aleatoria (mediana $R^2 \approx 3\%$), confirmando que la señal de validez no es meramente un artefacto de la verbosidad. Sin embargo, la longitud fue el principal motor de las diferencias inter-modelo en BERTScore.

Significado y afirmaciones

El artículo argumenta que el compromiso entre validez y discriminación es una propiedad de las métricas, no de los modelos. Debido a que cada métrica puntuó exactamente los mismos resultados de los modelos, la incapacidad de validar simultáneamente el alineamiento y clasificar los sistemas es inherente a los diseños actuales de las métricas.

Los autores afirman que el ideal de una "buena métrica" es inalcanzable con los enfoques actuales de métrica única para tareas abiertas. Sostienen que:

1. La validez y la discriminación son preguntas distintas: "¿Este resultado interactúa con el contenido?" y "¿Qué modelo es mejor?" son indagaciones diferentes que ninguna métrica única responde en tareas abiertas.
2. El reescalado de la línea base es crítico: Las puntuaciones brutas (por ejemplo, un F1 de BERTScore de 86%) a menudo sobreestiman el alineamiento por 1–3 puntos respecto al azar. El reescalado frente a una línea base aleatoria revela la verdadera señal (6–13 puntos).
3. La longitud es un factor de confusión: Las clasificaciones aparentes de los modelos basadas en BERTScore son en gran medida artefactos de la longitud de la respuesta, no de la calidad de la respuesta.

El artículo concluye que las prácticas de evaluación deben evolucionar para reportar las métricas en ambos ejes con líneas base aleatorias explícitas. No pretende resolver el compromiso, sino exponerlo, sugiriendo que el trabajo futuro debe abordar el diseño de la representación para desacoplar estas propiedades. Las conclusiones están limitadas a la respuesta de preguntas de formato corto basadas en opiniones y pueden no generalizarse a la respuesta de preguntas factuales o dominios con respuestas objetivamente verificables.