Resumen Técnico: Acuerdo Antes de la Diversidad (ABD)

Planteamiento del Problema

Los conjuntos heterogéneos de modelos de lenguaje expanden el espacio de respuestas candidatas, ofreciendo el potencial de una mayor precisión mediante la diversidad. Sin embargo, los enfoques actuales carecen de un criterio fundado para determinar cuándo una respuesta recién generada debe suplantar a una ya respaldada. Los métodos actuales suelen confundir el margen de maniobra de los candidatos (el potencial bruto de las salidas diversas) con la autoridad de reemplazo (la justificación para cambiar la respuesta actual). Un error diverso sigue siendo un error, y un sintetizador fluido puede sobrescribir una respuesta correcta tan fácilmente como puede reparar una incorrecta. El desafío central es distinguir entre tener más opciones y saber qué opción confiar sin depender de suposiciones no verificables como la independencia de las muestras o puntuaciones de confianza calibradas.

Metodología: Acuerdo Antes de la Diversidad (ABD)

Los autores proponen el Acuerdo Antes de la Diversidad (ABD), una regla de decisión congelada y sin etiquetas que desacopla la generación de candidatos de la autoridad de reemplazo. El método opera sobre un elemento específico $x$ de la siguiente manera:

1. Ancla y Sondas: Un modelo ancla produce una respuesta $y_0$ (a temperatura 0). Se generan dos muestras adicionales de confianza, $y_1$ y $y_2$, desde el mismo modelo (a temperatura 0.7).
2. Evento de Verificación ($A$): Una relación de equivalencia $E$ congelada (por ejemplo, igualdad de cadenas normalizada para código, coincidencia exacta de opciones para opción múltiple) compara las respuestas analizadas.
   • Si $y_0, y_1$ y $y_2$ son todos no nulos y se cumplen $E(y_0, y_1)$ y $E(y_0, y_2)$, el evento de acuerdo $A(x) = 1$.
   • De lo contrario, $A(x) = 0$.
3. Ramificación de Decisión:
   • Si $A(x) = 1$ (Protegido): Se retiene el ancla $y_0$. Costo total: 3 llamadas de inferencia.
   • Si $A(x) = 0$ (Escalado): El sistema sintetiza una nueva respuesta $s$ utilizando un grupo heterogéneo de cuatro modelos pares y un resolvedor. Costo total: 8 llamadas de inferencia (3 sondas + 4 pares + 1 resolvedor).

La relación de equivalencia $E$ es deliberadamente conservadora y sin etiquetas; no certifica la corrección, sino que sirve únicamente como una puerta para decidir si la diversidad está permitida para invalidar el ancla.

Contribuciones Clave y Marco Teórico

La contribución principal del artículo no es un coordinador ajustado, sino un principio de decisión con contabilidad exacta. Los autores derivan dos identidades exactas que descomponen el rendimiento de ABD en relación con dos políticas extremas, sin requerir suposiciones de independencia o confianza calibrada.

1. Identidad 1 (vs. Síntesis Incondicional):
   $$E[U - Q] = q(a - b)$$
   La brecha de precisión entre ABD y la síntesis constante está determinada por la cobertura de acuerdo ($q$) multiplicada por la ventaja del ancla ($a - b$) en el subconjunto protegido. Esta identidad muestra que ABD solo supera a la síntesis incondicional si el ancla es más precisa que la síntesis en los elementos donde ocurre el acuerdo.

2. Identidad 2 (vs. Nunca Sintetizar):
   $$E[U - Z] = (1 - q)(r - d)$$
   La brecha de precisión entre ABD y mantener siempre el ancla está determinada por la tasa de escalada ($1-q$) multiplicada por la recuperación autorizada menos la destrucción autorizada neta ($r - d$) en el subconjunto escalado. Aquí, $r$ representa los casos donde la síntesis corrige un ancla errónea, y $d$ representa los casos donde la síntesis corrompe un ancla correcta.

3. Identidad de Costo:
   $$E[C] = 8 - 5q$$
   El costo de inferencia esperado es una función lineal de la cobertura. ABD es más barato en términos de recuento de llamadas que la síntesis constante (que cuesta 6 llamadas) si y solo si $q > 0.4$.

Estas identidades localizan cada diferencia agregada a un estrato enumerable y protegido, haciendo que el comportamiento del sistema sea totalmente auditable.

Resultados Experimentales

El método fue evaluado bajo condiciones estrictas y ciegas en dos benchmarks distintos: LiveCodeBench-v6 (175 tareas, pruebas ejecutables) y GPQA-Diamond (180 elementos no tocados, puntuación de opción exacta).

• LiveCodeBench-v6: ABD alcanzó una precisión del 59.43%, superando a Single9 (52.57%) y HAC (52.00%). Empató con Heterogeneous MoA (Síntesis Constante) y superó a Homogeneous MoA.
  • Mecanismo: La cobertura de acuerdo ($q$) fue extremadamente baja (1.71%) porque la generación independiente de código rara vez coincide exactamente. En consecuencia, la puerta fue casi inerte, y el sistema se redujo efectivamente a la síntesis heterogénea. El límite teórico predijo una contribución máxima de 1.71 puntos; la contribución observada fue exactamente cero, confirmando la teoría.
• GPQA-Diamond (Untouched): ABD alcanzó un 75.00% de precisión, superando a Single9, HAC y Heterogeneous MoA (72.78%).
  • Mecanismo: Aquí, la cobertura fue alta (73.33%). La ganancia sobre la Síntesis Constante (2.78 puntos) se explicó enteramente por la preservación de las respuestas correctas del ancla en el subconjunto protegido ($q(a-b)$).
• Estudio de Perturbación: Cuando el modelo ancla fue reemplazado por uno más débil (perturbación congelada), la cobertura cayó a 39.44%, pero la ventaja del ancla en el conjunto protegido aumentó significamente. ABD aún superó a las líneas base, demostrando que el método se adapta a la calidad del ancla sin necesidad de reentrenamiento.

Ablaciones de Componentes:

• Eliminar la puerta (Síntesis Constante) mostró que la diversidad por sí sola no garantiza la mejora; en LiveCodeBench, la eliminación de la puerta tuvo un impacto de 0.00, mientras que en GPQA, causó una caída.
• Eliminar la heterogeneidad de los proponentes (Homogeneous MoA) mostró que la diversidad no es universalmente superior; ayudó en código, pero perjudicó en GPQA en comparación con la versión heterogénea.

Significado y Reivindicaciones

El artículo afirma que ABD proporciona un marco principiado para gestionar la tensión entre estabilidad y exploración en los conjuntos de modelos de lenguaje.

• Toma de Decisiones Auditable: A diferencia de los coordinadores heurísticos, ABD ofrece identidades exactas que explican cada diferencia agregada. Los profesionales pueden medir la cobertura ($q$), la ventaja del conjunto protegido ($a-b$) y las tasas de recuperación/destrucción ($r-d$) para diagnosticar el comportamiento del sistema sin necesidad de conjuntos de validación etiquetados.
• Separación de Potencial y Autoridad: Los resultados demuestran que la diversidad suministra el potencial (margen de maniobra), pero la estructura de verificación suministra la autoridad para realizarlo. Un grupo diverso es beneficioso solo si la puerta identifica correctamente cuándo confiar en el ancla y cuándo escalar.
• Alcance Modesto: Los autores declaran explícitamente que la evidencia se limita a la generación de código y preguntas de opción múltiple de nivel experto. No afirman que ABD sea una solución universal para todas las tareas, sino que es un marco que resalta la necesidad de señales de verificación conscientes del dominio (por ejemplo, firmas de ejecución para código, procedencia para razonamiento) para definir la relación de equivalencia $E$.
• Sin "Oráculo de Corrección": El método no pretende conocer la verdad fundamental. Solo otorga permiso para preservar una respuesta cuando hay apoyo mediante el acuerdo, o para reemplazarla cuando dicho apoyo falla.

En conclusión, ABD transforma el problema de la coordinación de una tarea de optimización de caja negra en un proceso transparente y medible donde las compensaciones entre precisión, costo y diversidad se cuantifican explícitamente.