DIFFCZSL: Compositional Zero-Shot Learning Regularized by Diffusion Representations

Imagina un mundo donde una computadora puede mirar la foto de una manzana roja y la foto de una manzana verde, aprender qué significan "rojo" y "verde", y luego reconocer instantáneamente una "manzana verde" que nunca ha visto, incluso si solo fue entrenada con manzanas rojas. Este es el desafío del aprendizaje de cero disparos composicional (compositional zero-shot learning), una rama específica de la inteligencia artificial que pregunta a las máquinas cómo entender cómo los conceptos simples se combinan para formar ideas nuevas y complejas. Durante décadas, los investigadores han intentado enseñar esta habilidad a las computadoras mostrándoles miles de ejemplos, pero las máquinas a menudo tienen dificultades cuando se les pide mezclar y combinar estas ideas de formas que no han practicado. Pueden reconocer el objeto, como un plátano, y el estado, como "maduro", pero fallan al comprender que un "plátano maduro" es una realidad visual específica diferente de solo una cosa "madura" o de un "plátano" en general. La dificultad central radica en enseñar a la máquina a ver la relación entre las partes, no solo las partes en sí mismas.

Un equipo de investigadores de la Universidad de Ciencia y Tecnología de Hong Kong ha encontrado una nueva forma de ayudar a estas máquinas a aprender esta habilidad, no enseñándoles más ejemplos, sino tomando prestada un tipo diferente de inteligencia. Descubrieron que, mientras que los modelos de IA estándar son excelentes para distinguir una imagen de otra, a veces son torpes para entender cómo se mezclan los conceptos. Para solucionar esto, el equipo introdujo un ayudante "generativo" en el proceso de entrenamiento. Piensa en este ayudante como un modelo que fue construido originalmente para crear imágenes a partir de descripciones de texto, en lugar de solo identificarlas. Al permitir que la IA observe el funcionamiento interno de este modelo de creación de imágenes mientras aprende, los investigadores pudieron guiar el proceso de aprendizaje hacia una comprensión más profunda de cómo los atributos y los objetos encajan entre sí.

Los investigadores, liderados por Hangyu Tian y sus colegas, construyeron un sistema que llaman DIFFCZSL. Su enfoque comienza con un modelo de IA potente y preexistente conocido como CLIP, que es muy bueno emparejando imágenes con palabras. Sin embargo, el equipo notó que CLIP a veces trata a un "plátano maduro" como si fuera solo un plátano que resulta estar cerca de la palabra "maduro", en lugar de un concepto unificado donde la madurez cambia la apariencia de la fruta. Para corregir esto, añadieron un segundo paso durante la fase de entrenamiento. Tomaron un modelo de generación de imágenes preentrenado, el tipo que puede dibujar una imagen cuando escribes una descripción, y le pidieron que observara las mismas imágenes que la IA principal estaba estudiando. Este modelo de generación tiene una forma única de ver el mundo; debido a que tiene que aprender a reconstruir una imagen desde cero basándose en texto, presta mucha atención a cómo detalles específicos, como la textura de la cáscara de un plátano o el color de una manzana, interactúan con el objeto mismo.

El equipo no reemplazó a la IA principal con este modelo de generación. En su lugar, utilizaron el modelo de generación como un maestro. Mientras la IA principal intentaba aprender, el modelo de generación proporcionaba pistas adicionales sobre la estructura de la imagen. Esencialmente susurraba a la IA principal: "Mira, cuando ves un plátano, el concepto de 'maduro' no es solo una etiqueta separada; cambia la forma visual y el color del plano". Los investigadores extrajeron estas pistas internas del modelo de generación y las alinearon con la comprensión de la IA principal. Este proceso ocurrió solo mientras la computadora aprendía. Una vez terminado el entrenamiento, el modelo de generación fue eliminado, y la IA principal se quedó con su velocidad y estructura originales, pero ahora con una capacidad mucho más aguda para reconocer nuevas combinaciones.

Los resultados de este experimento se midieron a través de tres conjuntos diferentes de imágenes, que van desde zapatos hasta frutas u objetos cotidianos. En cada caso, los modelos de IA que recibieron esta guía adicional funcionaron mejor que aquellos que no la recibieron. En un conjunto de datos de zapatos llamado UT-Zappos, el equipo vio un salto significativo en la precisión, con los modelos identificando correctamente combinaciones no vistas con mucha más frecuencia. Por ejemplo, al pedirle que identificara una "manzana rebanada" o un "plátano maduro" en un nuevo contexto, los modelos guiados tenían muchas menos probabilidades de confundirse. La mejora fue constante, ya fuera que la prueba se limitara a categorías conocidas o se abriera a una vasta gama de posibles combinaciones. Los investigadores encontraron que los modelos se volvieron mejores para equilibrar su conocimiento de lo que habían visto antes con su capacidad para adivinar lo que nunca habían visto, una habilidad crucial para aplicaciones del mundo real donde surgen constantemente nuevas situaciones.

Uno de los hallazgos más sorprendentes fue que esta mejora se logró sin ralentizar la computadora o hacerla más pesada. Debido a que el modelo de generación solo se utilizó como guía durante la fase de aprendizaje y se descartó después, el sistema final funcionó con la misma velocidad que el original. El equipo también probó si el tipo específico de modelo de generación importaba, encontrando que las versiones más nuevas y avanzadas proporcionaban una mejor guía que las más antiguas. Incluso compararon su método contra otros tipos de modelos de IA potentes y descubrieron que la capacidad única del modelo de generación para entender cómo se mezclan los conceptos era la clave, no solo el hecho de ser un sistema grande y preentrenado. El estudio sugiere que la forma en que estos modelos de generación aprenden a crear imágenes a partir de texto captura una estructura oculta del mundo que es perfecta para enseñar a las máquinas cómo combinar ideas.

Este trabajo destaca un camino prometedor para la inteligencia artificial. En lugar de intentar construir un único modelo masivo que lo haga todo perfectamente, los investigadores demostraron que combinar las fortalezas de diferentes tipos de modelos puede conducir a mejores resultados. Al dejar que un modelo que crea imágenes enseñe a un modelo que las reconoce, cerraron la brecha en la forma en que las computadoras entienden el mundo. Los hallazgos sugieren que el futuro de la IA puede residir en estas colaboraciones, donde los modelos generativos y discriminativos trabajan juntos para crear sistemas que no solo son precisos, sino que comprenden profundamente la naturaleza compleja y compuesta de la realidad. El enfoque ofrece una forma simple y efectiva de hacer que las máquinas sean más inteligentes sobre cómo encajan las cosas, sin añadir ninguna carga extra a sus tareas diarias.