Pushing the Boundaries of Multiple Choice Evaluation to One Hundred Options

1. El Problema

La evaluación de Modelos de Lenguaje Grandes (LLM) mediante Preguntas de Opción Múltiple (MCQA) es el estándar actual, pero presenta una limitación estructural crítica: la saturación del techo de rendimiento en configuraciones de pocas opciones (típicamente $N \in \{4, 5\}$).

• Estrategias de Atajo: En espacios de búsqueda reducidos, los modelos pueden lograr una alta precisión no mediante un conocimiento genuino, sino utilizando estrategias de "atajo" como la eliminación parcial, la adivinanza distribucional o la explotación de pistas de formato.
• Falsa Competencia: Esto crea una "burbuja de competencia" donde los modelos parecen dominar una tarea, pero su capacidad real de discriminación se ve oscurecida. Cuando el número de distractores es bajo, es difícil distinguir si el modelo sabe la respuesta o simplemente navega un campo limitado de opciones incorrectas.
• Necesidad de Estrés: Se requiere un entorno de evaluación que simule condiciones de despliegue real donde el espacio de búsqueda es denso y confuso, exponiendo fallos que los benchmarks tradicionales ocultan.

2. Metodología

Los autores proponen un protocolo de evaluación masiva de opciones ($N=100$) aplicado a una tarea específica de detección de errores ortográficos en coreano.

• Tarea: Identificar la única oración incorrecta ortográficamente dentro de un conjunto de 100 oraciones (1 objetivo erróneo + 99 distractores correctos).
• Construcción del Dataset:
  • Se utilizaron 750 oraciones base del Instituto Nacional del Idioma Coreano (NIKL).
  • Se generaron 30 objetivos con errores ortográficos controlados (espaciado, sai-siot, confusiones fonológicas) y 99 distractores por objetivo que son ortográficamente correctos y semánticamente muy similares.
  • Validación Rigurosa: Se empleó un ensemble de tres correctores ortográficos (DAUM, SARAMIN, NARA). Un distractor se acepta solo si los tres lo marcan como correcto; un objetivo se acepta solo si los tres lo marcan como incorrecto.
• Protocolo Experimental:
  • Escenarios: Se probaron dos entornos de distractores: "Fácil" (distractores de baja dificultad) y "Completo" (distractores de todo el rango de dificultad).
  • Escalado: Se evaluaron modelos con $N \in \{4, 10, 20, 50, 100\}$.
  • Monte Carlo: Para cada objetivo y tamaño de opción, se realizaron 1,000 ensayos independientes con muestreo dinámico de distractores y mezcla aleatoria de posiciones para eliminar artefactos posicionales y composicionales.
  • Control de Contexto: Se realizaron experimentos con "relleno" (padding) para aislar si la caída de rendimiento se debe a la longitud del contexto o a la complejidad de la clasificación entre candidatos.

3. Contribuciones Clave

El artículo introduce tres contribuciones principales al campo de la evaluación de LLM:

1. Protocolo de Opciones Masivas: Demuestra que escalar a $N=100$ reduce la probabilidad de acierto aleatorio del 25% (en $N=4$) al 1%, forzando una discriminación determinista y revelando brechas de rendimiento invisibles en benchmarks tradicionales.
2. Métricas de Diagnóstico:
   • Índice de Burbuja (Bubble Index - BI): Cuantifica la inflación de competencia en bajas opciones comparada con el rendimiento en altas opciones. Un BI alto indica que el modelo depende de atajos que fallan bajo interferencia densa.
   • Índice de Retroceso Posicional (Primacy-Fallback Index - PFI): Mide la tendencia del modelo a seleccionar las primeras opciones cuando la incertidumbre es alta, revelando sesgos posicionales bajo presión.
3. Desacoplamiento de Factores: Mediante controles de relleno, prueban que el colapso del rendimiento en $N=100$ se debe principalmente a la dificultad de clasificar candidatos confusos y no a limitaciones de longitud de contexto o memoria.

4. Resultados Principales

Los experimentos se realizaron en modelos de vanguardia (Gemini 2.5/3, A.X-4.0, EXAONE-4.0, HyperCLOVAX-THINK).

• Divergencia de Rendimiento:
  • Modelos como Gemini mantuvieron una alta precisión normalizada por azar (NA) incluso en $N=100$, mostrando robustez.
  • Modelos como HyperCLOVAX-THINK y EXAONE-4.0, que mostraron casi un 100% de precisión en $N=4$, sufrieron un colapso catastrófico en $N=100$ (caídas de ~70 puntos porcentuales en el entorno "Completo").
• Modos de Fallo Identificados:
  1. Confusión Semántica: Incapacidad para distinguir el error ortográfico entre distractores altamente similares.
  2. Sesgo Posicional (Fallback): Bajo incertidumbre, los modelos débiles abandonan el análisis de contenido y recurren a heurísticas posicionales, seleccionando desproporcionadamente las primeras opciones (índices 1-10). Esto se cuantificó con un alto $\Delta PFI_{10}$ y una pendiente negativa en la precisión según la posición de la respuesta correcta.
• Control de Longitud: Los experimentos de padding demostraron que aumentar la longitud del prompt (hasta 5,000 tokens) no degradó significativamente el rendimiento de los modelos robustos. Esto confirma que el cuello de botella es la clasificación de candidatos, no la capacidad de contexto largo.
• Sensibilidad al Contenido: Algunos modelos (como HyperCLOVAX) mostraron sensibilidad específica a ciertos tipos de relleno (ej. texto en inglés), lo que indica vulnerabilidades en la distribución de entrada más allá de la simple longitud.

5. Significado e Impacto

Este trabajo desafía la dependencia actual de los benchmarks de MCQA de pocas opciones, argumentando que estos pueden estar sobreestimando la competencia real de los modelos.

• Nueva Métrica de Confianza: La evaluación masiva de opciones actúa como una prueba de estrés que expone la fiabilidad de un modelo bajo interferencia densa, un escenario más cercano a aplicaciones reales donde las alternativas confusas son la norma.
• Revelación de Heurísticas: El estudio demuestra que muchos modelos, cuando se ven abrumados por la complejidad, abandonan el razonamiento semántico en favor de atajos posicionales simples.
• Futuro de los Benchmarks: Sugiere que la próxima generación de evaluaciones debe complementar la cobertura temática con pruebas de estrés de interferencia semántica y densidad de distractores para obtener una imagen más fiel de las capacidades de los LLM.

En resumen, el artículo establece que la verdadera competencia de un modelo no se mide por su capacidad para elegir entre 4 opciones, sino por su habilidad para identificar la respuesta correcta entre 100 opciones altamente confusas sin recurrir a sesgos posicionales.