Resumen Técnico: Un Marco Basado en la Simetría para Medir las Preferencias de los LLM bajo Especificaciones en Conflicto

Declaración del Problema

Los modelos de lenguaje de gran tamaño (LLM) operan cada vez más en entornos donde múltiples especificaciones contextuales definen una tarea. Estas especificaciones suelen adoptar formas diversas —instrucciones en lenguaje natural, restricciones formales, pruebas ejecutables o ejemplos de entrada-salida— y pueden ser inconsistentes o directamente conflictivas. Si bien investigaciones previas han examinado cómo los modelos detectan o reconcilian conflictos entre fuentes de información (por ejemplo, en la generación aumentada por recuperación o la verificación de hechos), existe una falta de métodos controlables y atribuibles para analizar sistemáticamente cómo los modelos priorizan diferentes tipos de especificación de tareas cuando estas apoyan comportamientos incompatibles. Específicamente, no está claro si los LLM exhiben preferencias sistemáticas por ciertos tipos de representación (por ejemplo, formal frente a lenguaje natural) y cómo estas preferencias varían entre modelos y dominios de tareas.

Metodología

Los autores proponen un marco experimental basado en la simetría diseñado para medir las preferencias de los modelos bajo especificaciones en conflicto, tratando el problema como un proceso de selección sobre mapeos ejecutables en competencia.

Núcleo del Marco

1. Mapeos Ejecutables: Una tarea se define mediante un mapeo $f: X \to Y$. Los conflictos de especificación se construyen como pares de mapeos ($f_1, f_2$) que producen salidas distintas y atribuibles para una consulta discriminativa $q^\star$ (donde $f_1(q^\star) \neq f_2(q^\star)$).
2. Atribución: Debido a que cada especificación induce una salida concreta, la respuesta del modelo puede atribuirse directamente a un mapeo, al otro, o a ninguno. Esto transforma una decisión implícita en una variable observable.
3. Contrabalanceo Basado en la Simetría: Para aislar las preferencias de representación de factores de confusión (como el orden de presentación o sesgos de contenido específicos), el marco emplea configuraciones de simetría completa. Para cualquier comparación entre tipos de representación $A$ y $B$, se generan cuatro ensayos por cada instancia de conflicto:
   • $(A(f_1), B(f_2))$, $(B(f_1), A(f_2))$, $(A(f_2), B(f_1))$, $(B(f_2), A(f_1))$.
     Este diseño contrabalancea la asignación de tipos de representación a los mapeos subyacentes y el orden de presentación, permitiendo la estimación de preferencias mediante la agregación que margina los factores no objetivo.

Configuración Experimental

El marco se instanció a través de tres dominios:

1. Benchmark Matemático: Un conjunto de datos controlado de 550 instancias de conflicto a través de 11 familias de funciones (p. ej., operaciones algebraicas, de grafos, de matrices). Se compararon cuatro tipos de representación: Lenguaje Natural Puro (NL), Lenguaje Formal (Form), Lenguaje Formal Naturalizado (NatF) y Ejemplos de Entrada-Salida (Ex).
2. Álgebra de Boole: Conflictos entre fórmulas simbólicas y tablas de verdad.
3. Generación de Código: Conflictos entre la documentación en lenguaje natural y las pruebas unitarias ejecutables (derivadas del conjunto de datos MBPP).
4. Reglas Clínicas: Conflictos que involucran umbrales de dosificación renal e indicaciones de edad pediátrica derivados de etiquetas de openFDA, probando conflictos entre reglas genuinas y perturbaciones que preservan el esquema.

Resultados Clave

1. Preferencias Sistemáticas de Representación (Benchmark Matemático)

A través de múltiples modelos (incluyendo las familias DeepSeek, GPT y Llama), el estudio identificó un orden de preferencia consistente para resolver conflictos matemáticos:
$$\text{Formal} \approx \text{Formal Naturalizado} > \text{Lenguaje Natural Puro} > \text{Ejemplos de Entrada-Salida}$$

• Formal vs. Lenguaje Natural: Los modelos seleccionaron especificaciones formales sobre el lenguaje natural puro en aproximadamente el 87% de las respuestas atribuibles.
• Formal vs. Ejemplos: La preferencia por las especificaciones formales sobre los ejemplos fue aún más fuerte (~93%).
• Formal Naturalizado: A pesar de estar expresado en lenguaje natural, las especificaciones formales naturalizadas se comportaron de manera similar a las especificaciones formales puras, lo que sugiere que la presencia de estructura matemática explícita es el factor dominante, no la sintaxis superficial.
• Varianza del Modelo: Aunque la jerarquía general se mantuvo, la fuerza relativa de las preferencias varió. Por ejemplo, la preferencia de lo formal sobre lo formal naturalizado no fue uniforme; algunos modelos (p. ej., GPT-5-nano) favorecieron lo formal naturalizado, mientras que otros (p. ej., DeepSeek-V4-Flash) favorecieron lo formal puro.

2. El Rol de los Ejemplos

Se encontró que la competitividad de los ejemplos de entrada-salida depende altamente de la capacidad del modelo y de la estructura de la tarea:

• Dependencia de la Capacidad: Las variantes de modelos con mayor capacidad generalmente seleccionaron los mapeos apoyados por ejemplos con mayor frecuencia que las variantes de menor capacidad.
• Dependencia de la Tarea: Los ejemplos fueron más competitivos contra el lenguaje natural puro (tasas de selección de hasta ~55% para algunos modelos) pero significativamente menos competitivos contra las especificaciones formales o formales naturalizadas (tasas de selección a menudo <10%).
• Sensibilidad a la Estructura: Los ejemplos tuvieron dificultades cuando la especificación competidora exponía una estructura matemática explícita, ya que las demostraciones finitas eran insuficientes para recuperar la regla en comparación con las restricciones explícitas de la notación formal.

3. Hallazgos de Dominios Heterogéneos

• Álgebra de Boole: Los modelos exhibieron una fuerte preferencia por las representaciones simbólicas compactas y composicionales (fórmulas y redes de compuertas) sobre las tablas de verdad exhaustivas. Sin embargo, la preferencia entre fórmulas y redes de compuertas dependió del modelo, lo que sugiere que no hay una jerarquía universal para representaciones estructuralmente similares.
• Generación de Código: Se observó una divergencia aguda basada en la capacidad del modelo. Los modelos con menor puntuación generalmente favorecieron la documentación en lenguaje natural, mientras que los modelos de mayor puntuación favorecieron fuertemente las pruebas ejecutables (hasta un 97% de selección para los mejores modelos).
• Reglas Clínicas: En entornos clínicos, la jerarquía de representación no se transfirió limpiamente. En su lugar, surgió un sesgo específico del dominio: los modelos prefirieron consistentemente la regla más restrictiva (52%–87% de selección), independientemente de si esa regla era la etiqueta "genuina" o una perturbación. Esto indica que en dominios de alto riesgo, los sesgos de seguridad/restrictividad pueden anular las preferencias de representación.

4. Robustez y Abstención

• Orden de Presentación: Aunque fue un efecto secundario, el orden de presentación tuvo un impacto mínimo en comparación con el tipo de representación, excepto cuando las especificaciones competidoras tenían una fuerza similar (p. ej., Formal vs. Formal Naturalizado).
• Abstención: Cuando se permitió explícitamente responder "inseguro", los modelos (particularmente GPT-5-nano) utilizaron la abstención como una estrategia de manejo de conflictos, con tasas que variaron significamente según el par de representación (p. ej., ~64% de abstención para conflictos de Formal vs. Formal Naturalizado en GPT-5-nano).

Significancia y Reivindicaciones

El artículo afirma establecer la resolución de conflictos en los LLM como un problema de medición controlado, ejecutable y con contabalanceo de simetría.

• Medición Atribuible: Mediante el uso de una verdad de terreno ejecutable y el contabalanceo de simetría, el marco permite la atribución directa de las salidas del modelo a especificaciones específicas, yendo más allá del análisis cualitativo de "alucinación" o "reconciliación".
• Estructurado pero Dependiente del Contexto: Los resultados caracterizan la resolución de conflictos de los LLM no como ruido aleatorio, sino como un proceso de selección estructurado. Sin embargo, esta estructura es dependiente del contexto: si bien existe una preferencia general por la estructura explícita en tareas matemáticas, los factores específicos del dominio (como la restrictividad en reglas clínicas o la precisión de las pruebas en la generación de código) pueden remodelar o anular estas preferencias.
• Marco Unificado: El trabajo proporciona un enfoque experimental unificado para analizar cómo los modelos priorizan diferentes formas de especificación, demostrando que estas preferencias no son universales, sino que varían sistemáticamente según los modelos, las familias de tareas y los dominios.

Los autores concluyen que comprender estas jerarquías implícitas es esencial para diseñar sistemas fiables basados en LLM, ya que el "ganador" en un conflicto está determinado por una compleja interacción entre el tipo de representación, la capacidad del modelo y las restricciones específicas del dominio.