Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are Asked?

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) son evaluados extensivamente en tareas de razonamiento utilizando diversas pruebas de referencia, existe una falta de comprensión sobre cómo el formato de la pregunta (Respuesta Corta, Opción Múltiple, Verdadero/Falso) influye en el rendimiento del modelo. Las pruebas de referencia existentes a menudo tratan estos formatos como intercambiables, sin embargo, factores como el número de opciones, la posición de la respuesta correcta y la elección específica de palabras pueden introducir sesgos o alterar el proceso de razonamiento.

Los autores buscan responder cinco Preguntas de Investigación (RQ) específicas:

1. ¿Los tipos de pregunta impactan la precisión de la Selección Final (FS)?
2. ¿Los tipos de pregunta impactan la Precisión del Razonamiento (la corrección de los pasos intermedios)?
3. ¿Cuáles son los patrones de salidas incorrectas a través de diferentes tipos de preguntas?
4. ¿Qué factores específicos en las Preguntas de Opción Múltiple (MCQ) influyen en el rendimiento?
5. ¿Qué factores específicos en las Preguntas de Verdadero/Falso (TFQ) influyen en el rendimiento?

2. Metodología

Conjuntos de Datos y Tareas

El estudio evalúa LLMs en dos tareas de razonamiento distintas:

• Razonamiento Cuantitativo: Utilizando el conjunto de datos GSM8K (problemas de palabras de matemáticas de escuela primaria).
• Razonamiento Deductivo: Utilizando un subconjunto modificado del conjunto de datos bAbI (QA de hechos con hechos de apoyo).
• Volumen de Datos: Se seleccionaron aleatoriamente 300 problemas de cada conjunto de datos. Para bAbI, se añadieron dos hechos irrelevantes a cada problema para aumentar la complejidad.

Transformación del Tipo de Pregunta

Cada problema se convirtió en tres formatos:

1. Preguntas de Respuesta Corta (SAQ): El modelo genera los pasos de razonamiento y la respuesta final.
2. Preguntas de Opción Múltiple (MCQ): El modelo selecciona de una lista de opciones.
   • Recuento de Opciones: Probado con 5 opciones y 11 opciones.
   • Opción Especial: Se incluyó una opción "Algo más" (SEO) para probar si los modelos pueden seleccionar una respuesta fuera de los valores numéricos proporcionados.
   • Posicionamiento de la Respuesta Correcta: Se probaron tres distribuciones: Uniforme (U), Uniforme excluyendo SEO (U-SEO) y Solo SEO (oSEO).
   • Distractores: Las respuestas incorrectas se generaron con márgenes de error específicos (desviación del 5% o 20%) o generación aleatoria de ecuaciones.
3. Preguntas de Verdadero/Falso (TFQ): El modelo juzga una declaración.
   • Formatos: Formato de pregunta ("¿Es la respuesta X?") vs. Formato de declaración ("La respuesta es X.").
   • Correctitud: Probado tanto con "Verdadero" como con "Falso" como verdad fundamental.
   • Instrucciones: Probado con y sin una instrucción para "resolver primero" antes de responder.
   • Redacción: Probado "Verdadero/Falso" vs. "Sí/No".

Modelos Evaluados

Se probaron cinco LLMs:

• Código cerrado: GPT-4o, GPT-3.5-turbo.
• Código abierto: Llama-3 8B, Llama-3.2 1B, Gemma 7B.
• Configuración: Decodificación codiciosa (temperatura = 0), configuración de cero disparos (zero-shot).

Métricas de Evaluación

1. Precisión de Selección Final (FS): Coincidencia de cadenas automatizada de la salida final contra la verdad fundamental.
2. Precisión del Razonamiento: Evaluación manual de los pasos intermedios de razonamiento. Se aplicó un criterio estricto: todos los pasos de razonamiento deben ser correctos para que el razonamiento se marque como correcto.

Análisis Estadístico

Se utilizó la prueba de rangos con signo de Wilcoxon apareada de dos colas para determinar la significancia estadística ($p < 0.05$) entre los tipos de preguntas.

3. Contribuciones Clave

1. Diseño de Prueba de Referencia Exhaustivo: Un diseño experimental novedoso que varía sistemáticamente los recuentos de opciones de MCQ (5 vs 11), las posiciones de las respuestas correctas y la redacción de TFQ, abordando brechas en la literatura anterior.
2. Desacoplamiento de Métricas: El estudio separa explícitamente la Precisión del Razonamiento de la Precisión de Selección Final, revelando que no siempre están correlacionadas.
3. Hallazgos Empíricos: Identificación de sesgos específicos en LLMs, como la sensibilidad a la frase "Algo más", la posición de las respuestas correctas y la redacción de TFQs.
4. Código Abierto: Los autores publicaron su código y su prueba de referencia públicamente.

4. Resultados Clave

RQ1 y RQ2: Impacto del Tipo de Pregunta en la Precisión

• Correlación FS vs. Razonamiento: No existe una correlación consistente entre la precisión del razonamiento y la precisión de la selección final.
  • Observación: Los modelos a menudo adivinan la respuesta final correcta a pesar de un razonamiento defectuoso (especialmente en MCQs y TFQs). Por el contrario, los modelos a veces derivan un razonamiento correcto pero fallan al seleccionar la opción correspondiente (por ejemplo, debido a errores de formato o malentendidos sobre "Algo más").
• Variación del Rendimiento: Existen diferencias significativas en la precisión de FS a través de los tipos de preguntas.
  • SAQ vs. MCQ: SAQ generalmente supera a MCQ, particularmente cuando "Algo más" es la respuesta correcta.
  • SAQ vs. TFQ: Las TFQs con "Falso" como respuesta correcta a menudo producen una mayor precisión de FS que las SAQs para algunos modelos, lo que sugiere que los modelos pueden adivinar "Falso" más fácilmente que derivar el número exacto.

RQ3: Patrones de Salidas Incorrectas

El estudio identificó patrones de fallo distintos:

• Buena Adivinanza: Los modelos generan pasos de razonamiento incorrectos pero adivinan la respuesta final correcta (común en TFQs).
• Proximidad: Los modelos calculan un valor cercano a la respuesta correcta y seleccionan la opción más cercana, incluso si el cálculo estaba ligeramente equivocado.
• Malentendido de SEO: Los modelos luchan por seleccionar "Algo más" incluso cuando su razonamiento indica que la respuesta no está en la lista; a menudo fuerzan la selección de la opción numérica más cercana.
• Falta de Selección: Los modelos completan el razonamiento correctamente pero fallan al emitir el token de selección final.

RQ4: Factores que Influyen en el Rendimiento de MCQ

• Número de Opciones: Aumentar las opciones de 5 a 11 generalmente disminuye la precisión de FS, particularmente para modelos más pequeños (por ejemplo, Gemma, Llama-1B). Esto sugiere que los modelos podrían estar adivinando en lugar de calcular.
• Posición de la Respuesta Correcta: Los modelos rinden mejor cuando la respuesta correcta no es "Algo más" (U-SEO). El rendimiento cae significativamente cuando "Algo más" es la única opción correcta (oSEO).
• Elección de Palabras: Reemplazar "Algo más" con "Ninguna de las anteriores" mejoró significativamente la precisión de FS para GPT-3.5, lo que indica sensibilidad a la redacción de las opciones.

RQ5: Factores que Influyen en el Rendimiento de TFQ

• Pregunta vs. Declaración: El formato de declaración ("La respuesta es X") generalmente produce una mayor precisión de FS que el formato de pregunta ("¿Es la respuesta X?").
• Verdadero vs. Falso: Los modelos generalmente rinden mejor cuando "Verdadero" es la respuesta correcta, aunque algunos modelos (GPT-3.5, Llama-8B) mostraron una mayor precisión de FS con "Falso" en tareas cuantitativas.
• Redacción (Sí/No vs. Verdadero/Falso): Reemplazar "Verdadero/Falso" con "Sí/No" causó una caída estadísticamente significativa en el rendimiento (hasta ~26%) para GPT-3.5, a menos que se proporcionara una instrucción para "resolver primero".

5. Significado e Implicaciones

• Validez de las Pruebas de Referencia: El estudio desafía la fiabilidad de las pruebas de referencia actuales. Una puntuación alta de un modelo en MCQs puede reflejar adivinanzas o coincidencia de patrones en lugar de capacidades genuinas de razonamiento.
• Estrategia de Evaluación: Los investigadores no deben confiar únicamente en la precisión de la Selección Final. Evaluar la Precisión del Razonamiento es crucial para entender si un modelo está realmente resolviendo el problema o simplemente seleccionando la opción correcta.
• Ingeniería de Prompts: La redacción específica de las opciones ("Ninguna de las anteriores" vs. "Algo más") y el formato de las TFQs impactan significativamente el rendimiento. Son necesarios prompts estandarizados y cuidadosamente diseñados para una evaluación justa.
• Direcciones Futuras: Las futuras pruebas de referencia deben tener en cuenta el sesgo de las opciones, el número de elecciones y la redacción específica de las instrucciones para asegurar que midan el razonamiento y no el sesgo de selección.

En conclusión, el artículo demuestra que cómo se formula una pregunta altera fundamentalmente el rendimiento de los LLM, a menudo desacoplando la capacidad de razonar de la capacidad de seleccionar la respuesta correcta. Esto requiere un enfoque más matizado para la evaluación de LLM y el diseño de pruebas de referencia.