Accuracy and Order Sensitivity Diverge Under Label-Free Strategies
Este artículo demuestra que, si bien impedir que los modelos de lenguaje de gran tamaño vean las etiquetas de las opciones durante la resolución de preguntas de opción múltiple elimina con éxito el sesgo posicional, esto no logra mejorar la precisión y a menudo degrada el rendimiento, revelando que el principal cuello de botella es la retención de las opciones en lugar del mecanismo de emparejamiento.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás haciendo un examen de opción múltiple en un salón de clases. Sabes la respuesta, pero el profesor ha desordenado el orden de las opciones en la página. De repente, eliges la letra equivocada, no porque hayas olvidado el dato, sino porque tu cerebro se confundió con la nueva disposición. Este es el extraño mundo de los Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés): programas informáticos superinteligentes que charlan y escriben como los humanos. Los científicos utilizan preguntas de opción múltiple para probar cuánto "saben" estos modelos, pero han descubierto un fallo: los modelos a menudo actjen como estudiantes nerviosos que son demasiado sensibles a dónde están sentadas las respuestas en la página. Si las opciones se enumeran como A, B, C, D, el modelo podría acertar; si se desordenan a B, A, D, C, podría fallar. Esto hace que las puntuaciones de los exámenes sean poco fiables, porque no podemos saber si el modelo es realmente inteligente o si solo es bueno adivinando el patrón de las letras. Los investigadores quieren solucionar esto para que podamos confiar en lo que estos modelos de IA realmente dicen.
En este artículo, dos científicos de la Universidad Queen's de Belfast, Karl Hanna y Chen Feng, decidieron probar una idea ingeniosa para solucionar este "problema del desorden". Se preguntaron: ¿qué pasaría si hiciéramos que el modelo escribiera su respuesta en inglés sencillo primero, sin ver las opciones de opción múltiple en absoluto? Luego, en un segundo paso, podríamos pedirle al modelo que coincida su propia respuesta escrita con la letra correcta. Es como pedirle a un estudiante que escriba la respuesta en un trozo de papel y luego entregarle la hoja del examen para que circule la burbuja correcta más tarde. La esperanza era que, al ocultar las opciones durante la fase de pensamiento, el modelo no pudiera verse influenciado por su orden. También probaron un segundo método donde el modelo miraba cada opción una por una de forma aislada, como probar un solo ingrediente antes de decidir una receta, con la esperanza de que esto eliminara cualquier sesgo causado por el orden de los ingredientes.
Los resultados, sin embargo, fueron un poco decepcionantes. Los investigadores probaron estos métodos en seis modelos de IA diferentes a través de dos grandes conjuntos de preguntas (MMLU y ARC-Challenge). Descubrieron que ninguna de sus estrategias "libres de etiquetas" hizo que los modelos fueran más inteligentes de manera fiable. De hecho, el método de "escribir primero, emparejar después" en realidad hizo que los modelos fueran peores al obtener la respuesta correcta en casi todos los casos. Resultó que ocultar las opciones era el verdadero problema; sin ver las opciones, los modelos no podían descifrar cómo redactar sus respuestas correctamente, lo que provocaba mucha confusión y errores. La única versión que funcionó tan bien como la prueba estándar fue una en la que el modelo aún podía ver las opciones mientras pensaba.
Aún más sorprendente, los científicos descubrieron que hacer que los modelos fueran menos sensibles al orden de las respuestas no hacía que fueran automáticamente más precisos. Por ejemplo, un modelo se volvió mucho menos confundido por las letras desordenadas, pero su puntuación en el examen seguía bajando. Es como un estudiante que deja de adivinar basándose en el orden de las letras, pero sigue sin saber lo suficiente el material como para obtener una mejor nota. El artículo concluye que el simple hecho de eliminar el "sesgo posicional" (la confusión causada por dónde se colocan las respuestas) no garantiza una mejor puntuación. De hecho, el método tradicional de desordenar las respuestas y tomar un voto (llamado permutación cíclica) funcionó mejor que estos nuevos trucos sofisticados. La principal conclusión es que, si bien podemos corregir el sesgo, eso no siempre significa que el modelo se vuelva más inteligente, y a veces intentar ser demasiado ingenioso con el diseño de la prueba simplemente rompe la capacidad del modelo para responder en absoluto.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.