Interpretable reinforcement learning with decision-tree pruning

La caja negra y el plano

Imagina que estás enseñando a un robot a caminar, jugar al ajedrez o equilibrar una vara sobre un carro. No escribes el código para cada movimiento individual; en su lugar, dejas que el robot aprenda mediante ensayo y error, recompensándolo cuando tiene éxito y castigándolo cuando falla. Esto es el Aprendizaje por Refuerzo, una rama de la inteligencia artificial donde los agentes de software aprenden a tomar decisiones interactuando con un entorno. El resultado suele ser una "política": un conjunto de instrucciones que el robot sigue. Sin embargo, las políticas más potentes suelen estar ocultas dentro de redes neuronales masivas y complejas. Piensa en estas redes como una bola gigante y enredada de estambre o una "caja negra". Puedes ver al robot actuar, pero si preguntas por qué realizó un movimiento específico, la respuesta está enterrada en millones de conexiones invisibles. Esto es un problema porque, en el mundo real, necesitamos confiar en estos robots. Si un coche autónomo o una IA médica comete un error, necesitamos ser capaces de mirar dentro de la caja negra, entender la lógica y corregirlo.

Para resolver esto, los científicos han desarrollado formas de traducir estas enredadas redes neuronales en Árboles de Decisión. Si una red neuronal es una bola de estambre desordenada, un árbol de decisión es un diagrama de flujo claro o un libro de "elige tu propia aventura". Hace preguntas simples como "¿Se inclina la vara hacia la izquierda?" y sigue un camino hacia una respuesta como "Empujar a la derecha". Estos árboles son mucho más fáciles de leer para los humanos. Pero aquí está el truco: cuando traduces un cerebro complejo a un árbol, el árbol a menudo se vuelve demasiado grande para leerlo. Podría tener miles de ramas, volviéndose tan confuso como la caja negra original. La gran pregunta es: ¿Podemos recortar este árbol gigante para convertirlo en algo pequeño y simple sin romper la capacidad del robot para hacer su trabajo?

Podando el seto: Una nueva forma de simplificar la IA

En este artículo, Mark Ringer y Michel Tokic proponen un método ingenioso para responder a esa pregunta. Tratan la simplificación de estos árboles de decisión de IA no como un trucción mágica de una sola vez, sino como un proceso de edición cuidadoso y paso a paso. Imagina que tienes un seto enorme y descuidado que bloquea un camino. Quieres recortarlo para que la gente pueda pasar, pero no quieres cortar tanto que el seto se caiga o deje de cumplir su función de mantener ordenado el jardín.

Los autores comienzan con un árbol de decisión que ya ha sido traducido de una red neuronal. Este árbol es su "maestro" en el sentido de que sabe cómo resolver la tarea, pero es demasiado complicado para que un humano lo entienda. Su objetivo es podarlo —cortar las ramas innecesarias— manteniendo al mismo tiempo el alto rendimiento del robot. No se limitan a adivinar qué ramas cortar; utilizan un proceso estricto y auditable. Proponen tres formas principales de recortar el árbol:

1. El "Límite de Altura" (Poda de Profundidad Máxima o Max-Depth Pruning): Esto es como decir: "Ninguna rama puede crecer más de 5 pies". Cualquier parte del árbol que intente crecer más profundo es cortada y reemplazada por una hoja simple. Esto obliga al árbol a mantenerse corto y sencillo.
2. La "Verificación de Homogeneidad" (Poda de Impureza Máxima o Max-Impurity Pruning): Este método observa las ramas y pregunta: "¿Es esta parte del árbol ya tan clara que no necesita dividirse más?". Si una rama ya está tomando la misma decisión para casi todo lo que ve, se considera "pura". El algoritmo corta las divisiones adicionales y convierte toda esa sección en una sola hoja.
3. El "Contador de Visitantes Inteligente" (Poda Restringida Adaptativa de Árbol de Decisión o DACP): Este es el método más sofisticado y es la estrella del espectáculo. Es como un guía turístico contando cuántas personas visitan cada sala en un museo. Si una sala (o un nodo de decisión) es poco visitada, el guía podría decidir cerrarla. Sin embargo, el guía es inteligente: antes de cerrar una sala, comprueba si es en realidad una entrada VIP secreta que, de cerrarse, arruinaría el recorrido. Utilizan una red de seguridad para asegurar que, si un corte hace que la puntuación del robot caiga demasiado rápido, se detengan y retrocedan.

El proceso funciona como un juego de "caliente y frío". El algoritmo intenta cortar un lote de ramas. Luego, hace que el robot realice la tarea nuevamente para ver qué tal lo hace. Si el robot sigue funcionando bien (manteniéndose por encima de un umbral de seguridad específico), el corte se mantiene y el árbol se reduce. Si el rendimiento del robot cae demasiado, el corte es rechazado y el algoritmo intenta un corte diferente y más pequeño. Cada cambio se registra, creando un "rastro" que muestra exactamente cómo se simplificó el árbol y cómo afectó eso al comportamiento del robot.

Lo que encontraron: Árboles más pequeños, a veces mejores robots

Los autores probaron este método en una variedad de desafíos clásicos de robótica, desde equilibrar una vara (CartPole) hasta caminar como un humano (Walker2D). Encontraron que su proceso de poda transformó con éxito enormes e ilegibles árboles en versiones compactas y amigables para los humanos.

Uno de los descubrimientos más interesantes fue que la simplificación no siempre significa perder rendimiento. En algunos casos, como con la tarea del Lander Lunar (Lunar Lander), la red neuronal "maestra" original estaba en realidad sufriendo de sobreajuste (overfitting): había memorizado los datos de entrenamiento con demasiada perfección y estaba realizando movimientos extraños e innecesarios. Cuando los autores podaron el árbol de decisión, accidentalmente cortaron estas ramas de sobreajuste. ¿El resultado? El árbol simplificado funcionó incluso mejor que el complejo original, logrando puntuaciones más altas con menos reglas.

Sin embargo, hay un límite. El artículo muestra un compromiso claro: a medida que sigues recortando el árbol más y más, eventualmente el robot comienza a fallar. Existe un "punto de inflexión" donde el árbol se vuelve demasiado simple para manejar la complejidad de la tarea. Los autores encontraron que su método de "Contador de Visitantes Inteligente" (DACP) era generalmente el mejor para encontrar este punto óptimo, manteniendo el árbol lo suficientemente pequeño para ser leído mientras mantenía un alto rendimiento.

También señalaron que, si bien el número de hojas (los puntos finales del árbol) es una buena forma de medir la complejidad, puede que no cuente toda la historia sobre qué tan fácil es un árbol de entender para un humano. Un árbol con menos hojas podría seguir siendo confuso si las preguntas en su interior son demasiado difíciles de comprender.

La conclusión

Este artículo no afirma haber resuelto el misterio de la confianza en la IA para siempre, pero ofrece una nueva y poderosa herramienta. Sugiere que no tenemos que elegir entre un robot inteligente y uno transparente. Al utilizar un proceso de poda cuidadoso y paso a paso que comprueba constantemente el rendimiento del robot, podemos convertir un árbol de decisión gigante y confuso en un conjunto pequeño y claro de reglas. Esto hace que las decisiones de la IA sean auditables —es decir, podemos rastrear exactamente por qué hizo lo que hizo— y potencialmente incluso mejora su rendimiento al eliminar el "ruido" del sobreajuste. Aunque los autores admiten que su medida de "comprensibilidad" se basa en el tamaño del árbol y no aún en pruebas humanas reales, su método proporciona un camino claro y transparente desde el código complejo hacia una lógica simple y confiable.