Resumen Técnico: DT-PBO – Un Modelo Sustituto Basado en Árboles Interpretable para la Optimización Bayesiana Preferencial

1. Planteamiento del Problema

La Optimización Bayesiana Preferencial (PBO) tiene como objetivo identificar la solución más preferida por un tomador de decisiones (DM) dentro de un espacio de búsqueda utilizando el menor número posible de comparaciones por pares (PC). Si bien los métodos existentes de PBO dependen predominantemente de sustitutos de Procesos Gaussianos (GP), estos modelos adolecen de una limitación crítica: falta de interpretabilidad. Los GP funcionan como modelos de caja negra, lo que dificulta que los DM comprendan por qué se prefieren ciertas soluciones. Esta opacidad es una barrera significativa en dominios de alto riesgo (por ejemplo, atención sanitaria, defensa) donde los marcos regulatorios (como el RGPD de la UE) y las directrices éticas (por ejemplo, la estrategia de IA responsable de la OTAN) exigen explicabilidad. Además, los métodos de explicación post-hoc para los GP a menudo no son fieles al modelo subyacente, proporcionando potencialmente información engañosa.

El artículo aborda la necesidad de un modelo sustituto que sea intrínsecamente interpretable mientras mantiene la capacidad de modelar la incertidumbre de las preferencias y apoyar el aprendizaje activo (eficiencia de la muestra).

2. Metodología: DT-PBO

Los autores proponen DT-PBO, un nuevo modelo sustituto basado en Árbol de Decisión (DT) diseñado específicamente para PBO. A diferencia de los árboles de decisión estándar entrenados con datos de clasificación o clasificación por orden, DT-PBO aprende directamente de datos de comparaciones por pares. El método sigue el bucle de optimización estándar de PBO (Figura 1), pero reemplaza el sustituto GP con una estructura basada en árboles.

2.1 Partición del Espacio (Heurística de División)

La innovación central es una heurística de división basada en una Puntuación de Consistencia diseñada para particionar el espacio de características en función de las preferencias observadas en lugar de etiquetas de clasificación.

• Mecanismo: Para un nodo $A$ que contiene un conjunto de comparaciones $D_A$, el algoritmo evalúa divisiones candidatas (índice de característica $k$ y umbral $t$).
• Puntuación de Consistencia ($S_A$): Una división se puntúa en función de qué tan bien separa a los "ganadores" de los "perdedores". Específicamente, calcula la media empírica de una variable $Z_i(s)$, que es $+1$ si el ganador está en un lado de la división y el perdedor en el otro, $-1$ si se invierte, y $0$ si ambos están en el mismo lado. La puntuación es el valor absoluto de esta media.
• Exclusión de "Cruzadores": Una característica estructural clave es la exclusión de los "cruzadores" (pares donde un elemento cae en el hijo izquierdo y el otro en el derecho) de los conjuntos de datos utilizados para las divisiones de descendientes. Los autores argumentan matemáticamente que los cruzadores no contienen información sobre la estructura interna de los nodos hijos una vez establecida la división del padre. Esta exclusión controla naturalmente el crecimiento del árbol, favoreciendo árboles poco profundos e interpretables sin requerir un ajuste agresivo de hiperparámetros.

2.2 Estimación de Parámetros de Hoja

Una vez determinada la estructura del árbol, el modelo asigna una estimación probabilística a cada hoja para apoyar el aprendizaje activo.

• Hojas Probabilísticas: En lugar de un único valor, cada hoja $j$ se modela como una distribución gaussiana con media $f_j$.
• Aproximación de Laplace (LA): Los autores emplean un enfoque bayesiano donde los valores de utilidad latente a través de las hojas siguen un prior gaussiano multivariado conjunto. Utilizan la Aproximación de Laplace para encontrar la estimación de Máxima A Posteriori (MAP) y la covarianza posterior.
• Identificabilidad: Para resolver la invarianza traslacional inherente a las probabilidades por pares (donde añadir una constante a todas las utilidades no cambia las preferencias), se aplica una restricción de suma a cero ($\sum f_i = 0$). Esto asegura que el modelo sea identificable y elimina la varianza irreducible en la dirección del desplazamiento constante.
• Hiperparámetros: El modelo depende de la relación entre la varianza del ruido y la varianza del prior ($\sigma^2_{noise}/\sigma^2_{prior}$), que se demuestra que es el único parámetro identificable que gobierna la optimización.

2.3 Aprendizaje Activo

El modelo utiliza la función de adquisición qEUBO (Utilidad Esperada de la Mejor Opción) para seleccionar la siguiente comparación por pares más informativa.

• Inter-hoja vs. Intra-hoja: Aunque qEUBO selecciona eficazmente comparaciones entre diferentes hojas, colapsa dentro de una sola hoja (donde la media predictiva es constante). Para abordar esto, los autores emplean una heurística para la priorización dentro de la hoja en configuraciones discretas, enfocando la exploración en la hoja que actualmente se cree que contiene el óptimo.

3. Contribuciones Clave

1. Aprendizaje de Preferencias Basado en Árboles: El desarrollo de un algoritmo que aprende árboles de decisión interpretables directamente de datos de comparaciones por pares utilizando una heurística de división novedosa basada en consistencia y estimación probabilística de hojas.
2. Evaluación Numérica: Verificación empírica que muestra que DT-PBO logra una convergencia competitiva frente a modelos basados en GP de última generación (SkewGP y GP basado en LA), particularmente en funciones con paisajes de optimización accidentados (por ejemplo, De Jong, Holder, Schwefel). El método demuestra tiempos de ejecución computacional significativamente más rápidos (10–400 veces más rápido que los GP).
3. Estudios de Caso de la Vida Real: Demostración de la interpretabilidad y utilidad del modelo en dos escenarios distintos:
   • Preferencias de Sushi: Mostrando que el modelo puede recuperar las preferencias del usuario y generalizar a elementos no vistos.
   • Clasificación de Mensajes de Pacientes (PMR): Una tarea de triaje clínico de alto riesgo donde el modelo identifica características específicas (por ejemplo, "síndrome de bandera roja", "accionabilidad del mensaje") que impulsan la urgencia, proporcionando información opaca para enfoques de caja negra como LLM o GP.

4. Resultados

• Convergencia: A través de ocho funciones de referencia, DT-PBO se desempeña de manera competitiva. Rinde ligeramente menos en funciones suaves y no accidentadas (por ejemplo, Rosenbrock, Hartmann), pero supera o iguala a los GP en funciones accidentadas.
• Eficiencia: DT-PBO es computacionalmente superior, con tiempos de ejecución de ~12 segundos para 200 iteraciones en comparación con cientos o miles de segundos para variantes de GP. Esto se atribuye a la evitación de la optimización de hiperparámetros para las longitudes de escala del kernel y a la reducción del tamaño de la matriz Hessiana desde el número de elementos únicos ($m$) hasta el número de hojas ($m_l$).
• Robustez: El modelo es robusto al ruido en las preferencias e insensible a pequeños cambios en el hiperparámetro de la relación ruido/prior.
• Interpretabilidad: En estudios de caso, los árboles resultantes (profundidad 4–6) proporcionan reglas claras y legibles por humanos (por ejemplo, "Si hay dolor de pecho, priorizar") que se alinean con el conocimiento del dominio, a diferencia de las salidas de caja negra de los GP o los Modelos de Lenguaje Grande (LLM).

5. Significado y Limitaciones

El artículo afirma que DT-PBO ofrece una alternativa viable e intrínsecamente interpretable a los sustitutos GP de caja negra en PBO. Su significado radica en cerrar la brecha entre la optimización eficiente en muestras y la necesidad de explicabilidad en dominios de toma de decisiones críticos. Al proporcionar modelos transparentes, permite a los tomadores de decisiones refinar sus preferencias con mayor confianza y confianza.

Limitaciones reconocidas por los autores:

• Indiferencia: El modelo actual no puede modelar explícitamente declaraciones de indiferencia ($A \sim B$).
• Dimensiones Altas: El rendimiento se degrada en funciones no accidentadas a medida que aumenta la dimensionalidad ($D > 7$), probablemente debido a la naturaleza alineada con los ejes de las divisiones del árbol de decisión que luchan contra límites de decisión complejos y diagonales comunes en funciones suaves de alta dimensión.
• Extracción de Características: En el estudio de caso PMR, la calidad del modelo final depende de la fiabilidad del LLM utilizado para la extracción de características.

Los autores concluyen que, aunque existen limitaciones, DT-PBO demuestra exitosamente que los modelos sustitutos interpretables pueden lograr un rendimiento competitivo en PBO, particularmente en escenarios donde la interpretabilidad es un prerrequisito para la implementación.