💬 NLP

Models Know Models Best: Evaluation via Model-Preferred Formats

Este artículo propone una estrategia de alineación de formato dinámica que aprovecha un clasificador ligero entrenado en señales preferidas por el modelo para seleccionar automáticamente entre formatos de evaluación basados en símbolos y de estilo cloze, resolviendo así las discrepancias de rendimiento y mejorando significativamente la precisión de cero disparos (zero-shot) a través de varios benchmarks de LLM.

Autores originales: Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Publicado 2026-02-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tomando un examen para demostrar qué tan inteligente eres. Ahora, imagina que el examen viene en dos estilos diferentes:

El estilo de "Opción Múltiple": Lees una pregunta y luego tienes que elegir una letra (A, B, C o D) que coincida con la respuesta.
El estilo de "Completar el Espacio": Lees una oración que se detiene abruptamente y tienes que completar la oración con las palabras correctas.

Durante mucho tiempo, los investigadores pensaron que estos dos estilos eran simplemente formas diferentes de hacer la misma pregunta. Pero este artículo, titulado "Models Know Models Best" (Los modelos conocen mejor a los modelos), descubrió algo sorprendente: A los Grandes Modelos de Lenguaje (LLM) no les gustan ambos estilos por igual. De hecho, el estilo que elijas puede hacer que un modelo parezca un genio o un fracaso total, incluso si la pregunta es exactamente la misma.

Aquí está el desglose de lo que los autores descubrieron, utilizando algunas analogías sencillas.

1. El problema de la "Herramienta Incorrecta para el Trabajo"

Los investigadores probaron 22 modelos de IA diferentes en 8 tipos de preguntas. Encontraron un patrón claro:

El estilo de "Símbolo" (Elegir A, B, C, D): Este funciona mejor para preguntas que requieren comparar opciones. Piensa en esto como un menú donde tienes que mirar una lista de platos y elegir el que se ajuste a tu dieta. El modelo tiene que mirar todas las opciones una al lado de la otra para tomar una decisión.
El estilo "Cloze" (Completar el espacio): Este funciona mejor para preguntas que requieren continuar una historia. Piensa en esto como terminar una oración en una novela. El modelo está entrenado para predecir qué palabra viene después en un flujo natural.

El Problema: Cuando los investigadores obligaron a un modelo de "contar historias" a elegir una letra de una lista (estilo Símbolo) para una pregunta que en realidad trataba de terminar una oración, la puntuación del modelo se desplomó. Fue como pedirle a un maratonista que resolviera una ecuación matemática; es bueno corriendo, pero el formato de la prueba no coincidía con su fortaleza.

2. Los humanos no pueden adivinar el mejor formato

Los autores primero intentaron solucionar esto pidiéndole a los humanos que miraran una pregunta y decidieran: "Oye, esta parece una historia, así que usemos el estilo de Completar el Espacio".

El Resultado: No funcionó bien. Los humanos son malos adivinando qué formato preferirá una IA. A veces, una pregunta parece una historia para un humano, pero la IA en realidad prefiere la lista de opción múltiple. Confiar en la intuición humana a menudo hizo que la IA funcionara peor.

3. La Solución: "Preguntarle al Modelo Qué Es Lo Que Quiere"

Dado que los humanos no podían adivinar el formato correcto, los autores le preguntaron a los modelos mismos.

Construyeron un "policía de tránsito" diminuto y ligero (un clasificador). Este policía de tránsito mira una pregunta específica y le pregunta a la IA: "Si te doy esta pregunta como una lista de opción múltiple, ¿qué tan seguro estás? Si te la doy como un completar el espacio, ¿qué tan seguro estás?"

Basándose en las propias señales de confianza internas de la IA, el policía de tránsito decide qué formato usar para esa pregunta específica.

Si la pregunta es sobre comparar opciones: El policía de tránsito dice: "Usa el formato de Opción Múltiple (Símbolo)".
Si la pregunta es sobre terminar una oración: El policía de tránsito dice: "Usa el formato de Completar el Espacio (Cloze)".

4. Los Resultados: Desbloqueando el Potencial Oculto

Cuando utilizaron la estrategia de "Preferencia del Modelo", los resultados fueron dramáticos.

Para preguntas de "Historia": El rendimiento de la IA aumentó significamente. Fue como si finalmente le hubieran dado al corredor los zapatos adecuados.
Para preguntas de "Comparación": El rendimiento se mantuvo alto o mejoró ligeramente.
La Gran Conclusión: El artículo muestra que muchos modelos de IA son en realidad mucho más inteligentes de lo que pensábamos, pero a menudo los estábamos probando con la "regla" incorrecta. Al cambiar la regla para que coincida con la tarea específica, podemos ver sus verdaderas capacidades.

Resumen

El artículo argumenta que no debemos simplemente elegir un formato de prueba y mantenerlo para todo. En cambio, debemos dejar que la IA nos diga qué formato prefiere para cada problema específico. Al hacer esto, dejamos de hacer tropezar a los modelos y empezamos a ver qué tan inteligentes son realmente.

En resumen: El artículo demuestra que la forma en que haces una pregunta importa tanto como la pregunta misma, y la mejor manera de averiguar la forma correcta de preguntar es escuchar las propias preferencias del modelo.

Resumen Técnico: Los modelos conocen mejor a los modelos: Evaluación mediante formatos preferidos por el modelo

Declaración del problema

La resolución de preguntas de opción múltiple (MCQA) es el estándar de facto para evaluar los Modelos de Lenguaje Extensos (LLM). Sin embargo, estudios recientes indican que el rendimiento de los modelos en MCQA es altamente sensible al formato de entrada, particularmente en la elección entre formatos de evaluación basados en símbolos y de estilo cloze.

Basado en símbolos: El modelo selecciona una opción generando una etiqueta (por ejemplo, "A", "B", "C", "D") correspondiente a una lista de opciones.
Estilo cloze: El modelo evalúa la verosimilitud del propio texto de la respuesta cuando se añade al prompt, lo que a menudo requiere normalización de longitud.

La investigación existente destaca discrepancias significativas de rendimiento entre estos dos formatos, pero las causas subyacentes siguen siendo poco comprendidas. Crucialmente, no está claro si estas discrepancias son estocásticas o sistemáticas, y si las heurísticas diseñadas por humanos pueden predecir de manera fiable el formato óptimo para una tarea dada. Los protocolos de evaluación actuales suelen depender de un único formato fijo, lo que puede subestimar las capacidades reales de los LLM debido al desalineamiento entre formato y tarea.

Metodología

El artículo propone una estrategia de alineación dinámica de formato que selecciona el formato de evaluación óptimo para cada instancia de problema basándose en las propias preferencias latentes del modelo, en lugar de la intuición humana.

1. Análisis de la línea base empírica

Los autores realizaron una comparación sistemática entre 22 LLM basados en decodificadores (incluyendo las familias Qwen 3, Llama 3.1/3.2 y Mistral) y ocho benchmarks diversos (por ejemplo, MMLU, ARC, HellaSwag, PIQA).

Hallazgos: Las diferencias de rendimiento son sistemáticas y dependientes de la tarea.
- Tareas que favorecen los símbolos: Las tareas que requieren una comparación explícita de opciones (por ejemplo, "¿Cuál de los siguientes es...?") o que contienen opciones como "Ninguna de las anteriores" (por ejemplo, ARC, MMLU) funcionan significativamente mejor con formatos basados en símbolos.
- Tareas que favorecen el estilo cloze: Las tareas que requieren una continuación de lenguaje natural (por ejemplo, predecir la siguiente frase en una narrativa) funcionan significativamente mejor con formatos de estilo cloze (por ejemplo, HellaSwag, PIQA, WinoGrande).
Aprendizaje en contexto (In-Context Learning): Aunque las demostraciones de pocos disparos (few-shot) pueden mitigar los desalineamientos de formato, no eliminan completamente la brecha de rendimiento, y los modelos a menudo no logran alcanzar la línea base del formato óptimo incluso con 10 ejemplos.

2. Selección de formato basada en clasificadores

Para abordar estas inconsistencias, los autores introducen un clasificador ligero basado en codificador (DeBERTaV3 ajustado) que predice el formato preferido (Símbolo vs. Cloze) para cada instancia de problema. Se exploraron dos estrategias de etiquetado para entrenar este clasificador:

Etiquetas anotadas por humanos: Un subconjunto de datos fue etiquetado manualmente basándose en heurísticas sintácticas (por ejemplo, si la opción completa una oración o requiere una comparación explícita).
- Resultado: Este enfoque condujo a una degradación constante del rendimiento, lo que sugiere que la intuición lingüística humana no se alinea con los sesgos inductivos latentes de los LLM respecto a la preferencia de formato.
Etiquetas generadas por el modelo: Las etiquetas se derivaron evaluando el modelo objetivo (o un conjunto de modelos) en ambos formatos y seleccionando aquel donde el modelo demostró mayor corrección o confianza (medida mediante márgenes de probabilidad).
- Algoritmo: Para una instancia dada, si el modelo responde correctamente en solo un formato, se elige ese formato. Si es correcto en ambos, se selecciona el formato con el margen de confianza más alto (con un umbral $\delta$ para evitar el ruido).
- Generalización: Para probar la transferibilidad, se empleó una estrategia de "votación por mayoría" donde las etiquetas se agregaron de tres modelos distintos de tamaño medio (Llama 3.1 8B, Mistral 7B, Qwen3 8B) para entrenar un clasificador para modelos no vistos.

Contribuciones clave

Caracterización sistemática del sesgo de formato: El artículo establece que las discrepancias de rendimiento en MCQA no son estocásticas, sino que varían sistemáticamente según las propiedades estructurales y lingüísticas de la tarea. Estos patrones son agnósticos al modelo, emergiendo consistentemente a través de diversos LLM basados en decodificadores.
Señales de preferencia latente: Los autores proporcionan evidencia de que las características que gobiernan la preferencia de formato están codificadas implícitamente dentro de las representaciones latentes del modelo. La elicitación explícita de estas señales permite recuperar el rendimiento que de otro modo se perdería debido a un formateo suboptimal.
Estrategia de alineación dinámica de formato: El método propuesto aprovecha las señales generadas por el modelo para seleccionar dinámicamente el formato de evaluación óptimo por instancia. Este enfoque cierra la brecha entre la capacidad del modelo y las características de la tarea sin requerir heurísticas libres de entrenamiento.

Resultados

Los resultados de la evaluación demuestran que el clasificador generado por el modelo supera significativamente tanto a las líneas base de formato fijo como a los clasificadores anotados por humanos.

Ganancias de rendimiento: El método propuesto produce mejoras sustanciales y consistentes en la precisión de cero disparos (zero-shot) en benchmarks de razonamiento e intensivos en conocimiento.
- En tareas que favorecen el estilo cloze (por ejemplo, HellaSwag, PIQA, WinoGrande), el enfoque a menudo supera la línea base del formato "preferido", recuperando un rendimiento significativo (por ejemplo, +16.7% en WinoGrande para Llama 3.2 1B, +28.3% para Qwen3 0.6B).
- En tareas que favorecen los símbolos (por ejemplo, ARC, MMLU), el método mantiene la paridad con la línea base del formato preferido, evitando la degradación observada con los clasificadores anotados por humanos.
Generalización: El enfoque de "etiquetado por mayoría", que agrega señales de múltiples modelos, logra ganancias comparables a los clasificadores de "auto-etiquetado". Esto indica que las preferencias de formato no son artefactos únicos de modelos específicos, sino que reflejan tendencias compartidas y dependientes de la tarea inherentes a los LLM basados en decodificadores.
Heurísticas humanas vs. de modelos: Los clasificadores entrenados con etiquetas anotadas por humanos degradaron consistentemente el rendimiento, confirmando que la intuición humana es un proxy poco fiable para las preferencias de formato de los modelos.

Significado

El artículo argumenta que las prácticas de evaluación de formato fijo actualmente subestiman las capacidades de los LLM. Al demostrar que los modelos poseen sesgos latentes y dependientes de la tarea respecto a los formatos de evaluación, los autores enfatizan la importancia de alinear los protocolos de evaluación con estos sesgos inductivos.

La importancia de este trabajo radica en su contribución metodológica a la evaluación de LLM:

Desafía la suposición de que las heurísticas diseñadas por humanos son suficientes para determinar las estrategias de evaluación óptimas.
Introduce un mecanismo a nivel de instancia, libre de entrenamiento, para recuperar las capacidades latentes del modelo que quedan oscurecidas por desalineamientos de formato.
Sugiere que las evaluaciones futuras deben considerar cómo los modelos representan internamente y responden a diferentes formatos de interacción para proporcionar una evaluación más precisa y perspicaz del rendimiento del modelo.

Los autores señalan que esta investigación es primordialmente metodológica, con el objetivo de mejorar la fiabilidad e interpretabilidad de la evaluación de modelos, y no plantea nuevas preocupaciones sociales o éticas más allá de las inherentes a la propia evaluación de LLM.