Resumen Técnico: De la Selección de Orden 0 al Juicio de Orden 2

Enunciado del Problema

Las pruebas de opción múltiple (MCQ) para Modelos de Lenguaje Grande (LLM) enfrentan dos desafíos críticos: la saturación rápida debido al avance de las capacidades de los modelos y la contaminación de datos que socava las evaluaciones estáticas. Aunque los Modelos de Razonamiento Avanzado (LRM) han alcanzado una precisión superhumana en pruebas de razonamiento lógico estándar (por ejemplo, LogiQA, MMLU), este rendimiento a menudo se deriva de la memorización del conjunto de entrenamiento y de la explotación de patrones superficiales (sesgo de posición, superposición léxica) en lugar de una implicación lógica genuina.

Los métodos existentes de "endurecimiento", como el parafraseo, las perturbaciones adversarias o los distractores "Ninguna de las anteriores" (NOTA), intentan aumentar la dificultad pero no abordan el problema central. Estos enfoques siguen siendo tareas de selección de orden 0 donde el modelo identifica una única opción correcta entre las candidatas. No elevan el orden lógico del razonamiento, lo que permite a los modelos avanzados eludir las restricciones lógicas profundas mediante la verificación extendida de la cadena de pensamiento (CoT) o la coincidencia de patrones. En consecuencia, las pruebas actuales no logran desafiar a los modelos de razonamiento más avanzados ni exponer brechas fundamentales en la lógica composicional.

Metodología: El Marco LogiHard

Los autores proponen LogiHard, un marco formal que transforma determinísticamente las MCQ de orden 0 en tareas de juicio lógico de orden 2. Esta transformación incrementa la sobrecarga de pensamiento y los pasos de razonamiento, garantizando al mismo tiempo la validez por construcción. El marco consta de tres componentes sinérgicos:

1. Protocolo Combinatorio Determinista

En lugar de la perturbación estocástica, LogiHard mapea las opciones atómicas a variables proposicionales y sintetiza fórmulas compuestas utilizando conectores lógicos ($\land, \lor, \neg$).

• Transformación: Una pregunta atómica $Q = (C, O, a)$ se convierte en una pregunta combinatoria $Q' = (C', \Phi, A)$. El contexto $C'$ incluye enunciados en lenguaje natural correspondientes a las opciones atomizadas. El conjunto de fórmulas $\Phi$ contiene proposiciones compuestas (por ejemplo, exactitud, disyunción, negación, negación compuesta) que el modelo debe evaluar bajo la asignación de verdad derivada de la respuesta original.
• Validez por Construcción: El conjunto de respuestas correctas $A$ es lógicamente consistente con la verdad atómica subyacente. La opción atómica nunca aparece directamente en la salida; solo su contraparte proposicional dentro de las fórmulas compuestas. Esto hace ineficaz la memorización de patrones superficiales.
• Niveles de Dificultad: La complejidad se calibra mediante la jerarquía de operadores:
  • Fácil: Solo exactitud ($\land$).
  • Medio: Añade Disyunción ($\lor$).
  • Difícil: Añade Negación ($\neg$).
  • Experto: Añade Negaciones Compuestas.

2. Puntuación de Dificultad Cognitiva

Para asegurar que las preguntas fuente sean intrínsecamente desafiantes antes de la transformación, el marco emplea un módulo de puntuación cognitiva.

• Métricas: Extrae nueve dimensiones de las trazas de pensamiento del modelo (por ejemplo, puntos de oscilación, densidad lógica, profundidad abductiva, longitud de la cadena de inferencia).
• Puntuación Dorada: Estas métricas se agregan en una "Puntuación Dorada" ponderada para estratificar las preguntas en niveles (Fácil, Medio, Difícil, Experto). Solo los niveles Difícil y Experto sufren transformación combinatoria para evitar efectos suelo.

3. Evaluación Dinámica mediante IRT-CAT

LogiHard integra la Teoría de Respuesta al Ítem (IRT) y la Prueba Adaptativa Computarizada (CAT) para abordar la ineficiencia de las pruebas estáticas.

• Selección Adaptativa: El sistema selecciona dinámicamente los ítems más informativos basándose en la estimación actual de la capacidad del modelo ($\hat{\theta}$), maximizando la información de Fisher.
• Estimación de Doble Subconjunto: Estima por separado la capacidad en el razonamiento atómico (orden 0) y combinatorio (orden 2), permitiendo una medición precisa de la "brecha combinatoria" ($\Delta\theta$).
• Eficiencia: Este enfoque logra una precisión de medición equivalente a pruebas estáticas de 60 ítems utilizando solo 15–25 preguntas seleccionadas adaptativamente.

Contribuciones Clave

1. Síntesis de Dureza Garantizada por Validez: Un protocolo determinista que eleva el razonamiento de la selección de orden 0 al juicio de orden 2. Resiste la memorización asegurando que la respuesta correcta determine la asignación de verdad sin que la opción atómica aparezca en la salida, eliminando la deriva semántica encontrada en los métodos adversarios.
2. Control Dinámico de la Dificultad: Un sistema unificado que combina configuraciones de operadores por niveles para la calibración en tiempo de generación y CAT basado en IRT para una orientación precisa y eficiente de la capacidad.
3. Identificación del Fallo de Razonamiento: La instanciación de LogiHard-2k, un conjunto de datos de 2.000 preguntas de exámenes de alto riesgo, revela un fallo de selección múltiple fundamental y una brecha de razonamiento combinatorio en los modelos de vanguardia.

Resultados Experimentales

El marco fue evaluado en doce modelos de última generación (incluyendo GPT-5.4, o3, Claude-Opus-4.6, DeepSeek-R1 y Qwen3.6-plus) y comparado con evaluadores humanos.

• Degradación de la Precisión: Los modelos mostraron caídas severas de rendimiento en preguntas endurecidas combinatoriamente, con una degradación de la precisión que osciló entre el 31% y el 56%. Por ejemplo, Qwen3.6-plus bajó del 51,67% (H-Base) al 5,00% (H-Comb).
• Niveles de Resiliencia: Los modelos se categorizaron en tres niveles basados en la caída de capacidad latente ($\Delta\theta$). Los modelos más resilientes (por ejemplo, GLM-5, GPT-5.4) mostraron una caída de $\approx 1.05–1.11$, mientras que otros (por ejemplo, GLM-4.7) sufrieron un colapso de $\Delta\theta = 3.14$.
• Asimetría Humano vs. Máquina: Los evaluadores humanos alcanzaron una precisión del 79,5% en preguntas de Combinatoria Difícil ($\Delta\theta \approx 0.28$), superando significativamente incluso a los modelos más resilientes.
• Cuello de Botella de Selección Múltiple: La desagregación reveló un modo de fallo específico: la precisión bajó del 31,2% para preguntas de una sola opción correcta al 12,4% para preguntas de selección múltiple ($n_{correct} \ge 2$).
• Transferencia Zero-Shot: Al aplicarse a MMLU sin adaptación de dominio, el marco mostró una degradación de precisión del 47% (89,84% $\to$ 42,86%), confirmando que la brecha es agnóstica al dominio y proviene de la arquitectura de razonamiento en lugar de déficits de conocimiento.

Análisis Mecanístico y Significado

El artículo identifica la causa raíz del fallo como una brecha de mapeo combinatorio en lugar de una falta de conocimiento lógico.

• Fallo en Dos Etapas: Los modelos realizan con éxito la Etapa 1 (evaluar asignaciones de verdad atómicas) pero fallan en la Etapa 2 (traducir estas verdades en conjuntos completos de opciones de selección múltiple).
• Sesgo Inducido por el Entrenamiento: El fallo se atribuye a un sesgo de salida temprana en las tuberías de entrenamiento. Los modelos están optimizados para la selección de una sola respuesta ("la primera respuesta correcta gana") y carecen de desencadenantes metacognitivos para la verificación de completitud de conjuntos de valores. Esto conduce a una subselección, donde los modelos identifican opciones válidas pero fallan en enumerar el conjunto completo.
• Significado: LogiHard demuestra que los modelos de vanguardia actuales carecen de una satisfacción robusta de restricciones proposicionales. El marco proporciona un protocolo de evaluación agnóstico al dominio y resistente a la contaminación que aísla la capacidad de razonamiento del conocimiento del dominio. Sugiere que los regímenes de entrenamiento futuros deben incorporar una elevación combinatoria determinista para instilar la satisfacción de restricciones de conjuntos de valores, superando la dependencia actual de la saturación de pruebas a nivel superficial.

Los autores concluyen que la distinción entre "conocer la lógica" y "componer la lógica" sigue siendo un techo persistente para el razonamiento de las máquinas, y que las pruebas estáticas se están acercando a la obsolescencia para evaluar las verdaderas capacidades de razonamiento.