🤖 machine learning

Expanding Data-Agnostic Pivotal Instances Selection Models with Proximity Trees and Ensemble Learning

Este artículo propone un modelo predictivo agnóstico a los datos e interpretable por diseño que selecciona jerárquicamente instancias pivote representativas (incluyendo pares y conjuntos) utilizando árboles de proximidad y redes preentrenadas para lograr un rendimiento competitivo a través de diversas modalidades de datos manteniendo una alta interpretabilidad.

Autores originales: Alessio Cascione, Mattia Setzu, Cristiano Landi, Paolo Maria Mancarella, Riccardo Guidotti

Publicado 2026-07-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alessio Cascione, Mattia Setzu, Cristiano Landi, Paolo Maria Mancarella, Riccardo Guidotti

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer un gato. Podrías intentar escribir un libro de reglas gigante: "Si tiene orejas puntiagudas, una cola y bigotes, es un gato". Pero, ¿qué pasa si el robot ve un gato sin pelo, o un gato durmiendo en una posición extraña? Las reglas se rompen. Este es el problema con muchos sistemas de IA de "caja negra" modernos: son increíblemente inteligentes para adivinar, pero no pueden explicar por qué hicieron una suposición. Simplemente procesan números de una manera que los humanos no pueden seguir.

Por otro lado, los humanos aprendemos mediante ejemplos. No memorizamos un libro de reglas para cada animal; recordamos instancias específicas. "Esa cosa peluda con la cola larga es un gato", o "Ese animal grande y rayado es un tigre". Comparamos cosas nuevas con estas instantáneas mentales. Esto se llama "razonamiento basado en casos". La gran pregunta en el mundo de la Inteligencia Artificial es: ¿Podemos construir una máquina que piense como nosotros? ¿Podemos crear un modelo que no solo dé una respuesta, sino que señale algunos ejemplos específicos y diga: "Creo que esto es un gato porque se parece mucho a esta foto que he visto antes"? Si podemos hacer esto, obtenemos una IA que no solo es inteligente, sino también transparente y confiable, permitiéndonos mirar bajo el capó para ver su lógica.

Esto es exactamente lo que los investigadores detrás del artículo "PivotTree" se propusieron hacer. Construyeron un nuevo tipo de modelo de IA que actúa como un árbol de decisión, pero en lugar de dividir los datos basándose en reglas abstractas como "si el píxel es rojo", divide los datos basándose en la similitud con ejemplos reales. Piensa en ello como un juego de "20 preguntas" donde las preguntas no son sobre características, sino sobre comparaciones. "¿Es esta nueva imagen más parecida a este perro específico, o a ese gato específico?".

El equipo, liderado por Alessio Cascione y sus colegas, introdujo un método llamado PivotTree. Imagina un árbol donde cada punto de ramificación no es una regla, sino un "pivote": un ejemplo cuidadosamente elegido de los datos de entrenamiento. Cuando llega un nuevo dato (como una foto o una oración), el modelo pregunta: "¿A qué pivote se parece más?". Dirige los datos a través del árbol, comparándolos con diferentes ejemplos en cada paso, hasta llegar a una respuesta final. Lo genial es que el modelo no solo elige un ejemplo; puede elegir un par y preguntar: "¿Está más cerca del Pivote A o del Pivote B?". Esto crea una jerarquía de comparaciones que es fácil de seguir para un humano.

Los investigadores no se detuvieron en un solo tipo de comparación. Crearon diferentes "sabores" de PivotTree. Algunos usan un solo pivote para trazar una línea (como "si se parece más a esto que a aquel umbral, ve a la izquierda"). Otros usan dos pivotes para tomar una decisión de "más cercano a" (como "¿está más cerca del perro o del gato?"). Incluso combinaron estos árboles en un "bosque" (un Random Pivot Forest) para hacer que las predicciones fueran aún más fuertes, de forma similar a cómo una multitud de expertos podría votar sobre una decisión.

Para probar si su idea realmente funcionaba, no se limitaron a simples hojas de cálculo. Lanzaron su modelo contra un desafío masivo: 45 conjuntos de datos diferentes. Estos incluían tablas de números estándar, pero también cosas complicas como imágenes (fotos de gatos, perros y coches), texto (reseñas y artículos) y datos de series temporales (como latidos del corazón o movimientos de manos). Compararon su PivotTree con otros modelos de IA famosos, incluyendo los pesos pesados de "caja negra" y otros métodos interpretables.

Los resultados fueron prometedores. Los modelos PivotTree lograron ser tan precisos como los modelos de IA más potentes y complejos que existen, pero con una gran ventaja: eran mucho más fáciles de entender. En muchos casos, especialmente con imágenes y texto, los modelos PivotTree tuvieron un rendimiento similar o ligeramente inferior a los competidores principales (como los modelos de boosting), pero a menudo igualaron el rendimiento de los Random Forests estándar utilizando muchos menos ejemplos (pivotes) para tomar sus decisiones. Por ejemplo, en un conjunto de datos de lesiones orales (imágenes médicas de llagas en la boca), el modelo podía diagnosticar problemas comparando una nueva imagen con solo un puñado de ejemplos representativos, explicando su razonamiento al mostrar exactamente contra qué ejemplos estaba comparando.

El artículo sugiere que este enfoque es un superpoder "agnóstico a los datos", lo que significa que funciona con casi cualquier tipo de datos siempre que puedas medir qué tan similares son dos cosas entre sí. Aunque los modelos a veces tardaban un poco más en entrenarse que los sistemas más simples basados en reglas, ofrecieron un punto ideal: alto rendimiento sin el misterio. Los autores concluyen que, al permitir que la IA razone a través de ejemplos en lugar de reglas abstractas, podemos construir sistemas que no solo sean poderosos, sino también lo suficientemente amigables como para que los humanos confíen en ellos y los entiendan. Es un paso hacia una IA que no solo conoce la respuesta, sino que puede mostrarte la evidencia.

Resumen Técnico: Expansión de Modelos de Selección de Instancias Pivote con Árboles de Proximidad y Aprendizaje de Conjuntos

Planteamiento del Problema
Los modelos de aprendizaje automático se han vuelto esenciales para la toma de decisiones complejas en dominios como la salud y las finanzas, sin embargo, su naturaleza de "caja negra" a menudo dificulta la interpretabilidad. Mientras que los humanos razonan naturalmente comparando casos nuevos con ejemplos representativos (razonamiento basado en casos), muchos modelos interpretables existentes dependen de reglas abstractas basadas en características que no se alinean con este proceso cognitivo. Además, los enfoques actuales basados en instancias suelen tener dificultades con modalidades de datos donde las características carecen de un significado semántico claro (por ejemplo, imágenes, texto, series temporales) o no logran equilibrar el rendimiento predictivo con el número de instancias representativas (pivotes) requeridas para la explicación. El artículo aborda la necesidad de un marco unificado y agnóstico a los datos para seleccionar instancias pivote de alta calidad para construir modelos predictivos interpretables capaces de razonar a través de la similitud.

Metodología
Los autores proponen PivotTree, un modelo jerárquico, interpretable por diseño, inspirado en los árboles de decisión pero fundamentado en la similitud con pivotes seleccionados en lugar de umbrales de características. La metodología abarca tres componentes principales:

Selección de Pivotes e Inducción de Árboles:
PivotTree construye de forma codiciosa (greedy) un árbol de decisión donde cada nodo divide las instancias basándose en su similitud con pivotes específicos (instancias de entrenamiento representativas). El algoritmo identifica dos tipos de pivotes en cada paso:
- Pivotes Discriminativos: Instancias que maximizan la ganancia de impureza al particionar los datos basándose en la similitud.
- Pivotes Descriptivos: Instancias que maximizan la similitud con otras instancias de la misma clase dentro del nodo actual.
  El proceso de inducción del árbol codifica las instancias en un espacio de similitud relativo a estos pivotes, lo que permite que el modelo funcione tanto como selector de pivotes como modelo predictivo independiente.
Estrategias de División:
Para mejorar la expresividad y la adaptabilidad, PivotTree implementa tres mecanismos de división distintos:
- División Univariante (pt): Utiliza un único pivote por nodo con una condición de umbral ( $s(x, p_i) \geq \beta$ ).
- División Oblicua (opt): Utiliza una combinación lineal de similitudes a dos pivotes ( $\omega_i s(x, p_i) + \omega_j s(x, p_j) \geq \beta$ ), lo que permite fronteras de decisión más complejas.
- División de Proximidad (ppt): Compara directamente la similitud de una instancia con dos pivotes ( $s(x, p_i) > s(x, p_j)$ ), dirigiendo la instancia basándose en a qué pivote es más cercana. Esto ofrece una interpretación relativa, en lugar de absoluta, de la similitud.
Aprendizaje de Conjuntos (RandomPivotForest):
Los autores extienden el enfoque de un solo árbol a un marco de aprendizaje de conjuntos, RandomPivotForest, que agrega predicciones de múltiples estimadores PivotTree utilizando votación por mayoría. Para gestionar la complejidad, también exploran un enfoque de "bosque de tocones de división" (splitting stump forest), donde se extraen conjuntos compactos de aprendices débiles (tocones) del bosque para ser utilizados ya sea para votación directa o combinados con un clasificador de regresión logística.
Agnosticismo de Datos:
Una característica central de la metodología es su desacoplamiento del cálculo de similitud de la representación del objeto. Al aprovechar redes preentrenadas (por ejemplo, ResNet para imágenes, Sentence Transformers para texto) para mapear los datos en un espacio vectorial latente ( $\mathbb{R}^m$ ), PivotTree puede aplicarse uniformemente a datos tabulares, series temporales, imágenes y texto.

Contribuciones Clave

Marco Unificado: Introducción de PivotTree, un modelo que realiza simultáneamente la selección de pivotes y el modelado predictivo, cerrando la breancia entre la selección de instancias y la clasificación interpretable.
Mecanismos de División Versátiles: Desarrollo de estrategias de división univariante, oblicua y de proximidad que permiten al modelo adaptarse a diferentes estructuras de datos y necesidades de interpretabilidad.
Independencia de la Modalidad de Datos: Demostración de que el enfoque es efectivo a través de diversas modalidades (tabulares, series temporales, imágenes, texto) mediante el uso de embeddings preentrenados y una métrica de similitud unificada (distancia Euclídea, con evaluación de la distancia Coseno y Manhattan).
Integración de Conjuntos: Propuesta de RandomPivotForest y sus variantes comprimidas, ofreciendo un equilibrio entre la robustez de los métodos de conjuntos y la interpretabilidad del razonamiento basado en casos.

Resultados Experimentales
Los autores evaluaron PivotTree y sus variantes en 45 conjuntos de datos que abarcan cuatro modalidades. Hallazgos clave incluyen:

Rendimiento Predictivo: Las variantes de PivotTree (específicamente $ptc_Z$ y $pts_Z$ ) lograron resultados competitivos frente a modelos interpretables de vanguardia (por ejemplo, árboles de decisión, conjuntos de reglas) y clasificadores estándar (kNN, Random Forests). En muchos casos, superaron a los competidores, particularmente en datos no relacionales como imágenes y texto.
Interpretabilidad: Los modelos mantuvieron un alto rendimiento utilizando un número mínimo de pivotes (a menudo limitado a 20), reduciendo significativamente la complejidad del modelo en comparación con las alternativas de caja negra.
Rendimiento de Conjuntos: Las variantes de RandomPivotForest generalmente igualaron o se acercaron al rendimiento de los Random Forests estándar y los métodos de boosting (XGBoost, LightGBM) en datos tabulares y de series temporales. Notablemente, las variantes basadas en proximidad ($rppt$) mostraron un rendimiento superior en conjuntos de datos de imágenes.
Medidas de Distancia: Aunque la distancia Euclídea fue la métrica principal, los experimentos con las distancias Coseno y Manhattan mostraron un rendimiento general comparable, siendo la distancia Coseno particularmente fuerte para datos de imágenes.
Eficiencia: Los tiempos de entrenamiento variaron según el tamaño y la dimensionalidad del conjunto de datos, siendo las variantes univariantes generalmente más rápidas que las oblicuas. El uso de submuestreo del 10% para el entrenamiento de conjuntos redujo significamente el tiempo de entrenamiento con un impacto mínimo en el rendimiento predictivo.

Significancia y Reivindicaciones
El artículo sostiene que PivotTree ofrece un paso significativo hacia la IA Explicable (XAI) al alinear los procesos de decisión del aprendizaje automático con las estrategias cognitivas humanas (razonamiento basado en casos). Su principal significancia radica en su capacidad para proporcionar modelos interpretables y transparentes que no sacrifican la precisión predictiva, incluso en dominios complejos donde los modelos interpretables tradicionales basados en características tienen dificultades.

Los autores señalan modestamente que, si bien el enfoque de conjunto (RandomPivotForest) logra un alto rendimiento, introduce una varianza en la complejidad del modelo. También reconocen que para tareas donde la prioridad absoluta es el rendimiento, los modelos de caja negra o PivotTree combinado con kNN pueden superar a las estructuras de árbol independientes, aunque este último ofrece una superioridad en la interpretabilidad estructural. El trabajo sugiere que la elección del modelo debe depender del equilibrio específico requerido entre la interpretabilidad global, el razonamiento local y el poder predictivo. Las direcciones futuras identificadas incluyen la exploración de estrategias de división híbridas y la validación del enfoque en escenarios reales de decisión con intervención humana (human-in-the-loop).

Resumen Técnico: Expansión de Modelos de Selección de Instancias Pivote con Árboles de Proximidad y Aprendizaje de Conjuntos

Más como este