💻 computer science

In-Context Learning for Wound Classification with Small Multimodal Language Models

Este estudio demuestra que los modelos de lenguaje multimodales pequeños pueden realizar eficazmente la clasificación de imágenes de heridas sin entrenamiento mediante el aprendizaje en contexto basado en la recuperación, logrando una alta precisión en conjuntos de datos públicos al aprovechar ejemplos de apoyo condicionados por la consulta y la reclasificación por relevancia marginal máxima sin la necesidad de un reentrenamiento específico para la tarea.

Autores originales: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

Publicado 2026-07-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer diferentes tipos de heridas, como un rasguño, una quemadura o un corte profundo. Normalmente, para enseñarle a un robot esto, tienes que mostrarle miles de imágenes etiquetadas y obligarlo a memorizarlas mediante un proceso llamado "entrenamiento". Es como hacer que un estudiante estudie durante semanas para un solo examen. Pero, ¿qué pasaría si el robot pudiera simplemente mirar unos pocos ejemplos justo antes del examen y resolverlo sobre la marcha? Esta es la idea detrás del "Aprendizaje en Contexto" (ICL, por sus siglas en inglés). Piensa en ello como entregarle a un estudiante una hoja de trucos con tres ejemplos perfectos de una "quemadura" y un "corte" justo antes de que vea la nueva imagen. No necesita memorizar todo el libro de texto; solo necesita mirar los ejemplos y decir: "Ah, este nuevo se parece al ejemplo de la quemadura".

Ahora, imagina que este robot es pequeño y cabe en una computadora portátil o en un teléfono, en lugar de ser una computadora gigante de supercomputación en la nube. Estos se llaman "Modelos de Lenguaje Multimodales Pequeños" (SMLM, por sus siglas en inglés). Son excelentes para la privacidad porque no tienes que enviar tus fotos médicas privadas a un gran servidor; el robot puede realizar el pensamiento directamente en tu dispositivo. La gran pregunta que los científicos se han estado haciendo es: ¿Pueden estos pequeños robots locales hacer un buen trabajo con solo unos pocos ejemplos, o necesitan las gigantescas supercomputadoras y los datos de entrenamiento masivos para lograrlo?

Este artículo pone esa idea a prueba. Los investigadores querían ver si podían usar estos modelos de IA pequeños y locales para clasificar imágenes de heridas sin tener que reentrenarlos cada vez. Establecieron un experimento utilizando dos colecciones públicas de fotos de heridas: una con alrededor de 1,469 imágenes y otra con 560. En lugar de simplemente pedirle a la IA que adivine (lo cual se llama "zero-shot" y a menudo conduce a conjeturas descabelladas), intentaron darle una "hoja de trucos" de ejemplos. Pero aquí está el truco: no eligieron ejemplos al azar. Utilizaron un sistema de búsqueda inteligente para encontrar los ejemplos que se parecían más a la nueva imagen de la herida.

Los resultados fueron bastante emocionantes para los robots pequeños. Cuando la IA recibió un conjunto de ejemplos elegidos inteligentemente (específicamente, 10 ejemplos encontrados mediante un sistema de búsqueda llamado kNN, y a veces refinados con un método llamado MMR para asegurar que los ejemplos fueran diversos), mejoró mucho en su trabajo. En el conjunto de datos más grande, el mejor modelo pequeño, una versión de 27 mil millones de parámetros de Qwen 3.5, alcanzó una precisión de 0.872. Eso significa que acertó el diagnóstico más del 87% de las veces. En el conjunto de datos más difícil y pequeño, aun así logró alrededor de un 68% de precisión.

El estudio también descubrió que el tamaño del robot importaba. Los modelos pequeños más grandes (como las versiones de 27B y 9B) pudieron usar los ejemplos para mejorar significamente sus conjeturas, superando a menudo incluso a un programa informático estándar que simplemente vota basándose en la coincidencia más cercana. Sin embargo, los modelos más diminutos tuvieron más dificultades, a veces simplemente copiando los ejemplos sin entender realmente el matiz. Los investigadores también descubrieron que no necesitas una hoja de trucos enorme; añadir más de 8 o 10 ejemplos no ayudaba mucho y solo hacía que el proceso fuera más lento.

Crucialmente, el artículo muestra que este enfoque funciona sin necesidad de reentrenar el modelo para cada nueva tarea. Si los médicos deciden cambiar las etiquetas o los tipos de heridas que están buscando, simplemente cambias los ejemplos en el "prompt" (instrucción), y el modelo se adapta instantáneamente. Si bien el rendimiento no es perfecto y depende en gran medida de tener buenos ejemplos y un modelo de tamaño decente, el estudio sugiere que los modelos de IA pequeños y locales pueden ser una forma práctica y respetuosa con la privacidad para ayudar a clasificar heridas, ofreciendo una alternativa flexible a los sistemas pesados y ávidos de datos del pasado.

Resumen Técnico: Aprendizaje en Contexto para la Clasificación de Heridas con Modelos de Lenguaje Multimodales Pequeños

Definición del Problema
La clasificación de imágenes de heridas se trata tradicionalmente como un problema de aprendizaje supervisado específico para la tarea. Este paradigma requiere una cantidad sustancial de datos etiquetados manualmente y necesita un reentrenamiento cada vez que el espacio de etiquetas o el contexto de despliegue cambia. Tales requisitos son particularmente onerosos en entornos médicos donde las etiquetas de expertos son escasas, las restricciones de privacidad limitan el intercambio de datos y las definiciones clínicas evolucionan rápidamente. Si bien los Grandes Modelos de Lenguaje Multimodales (LMLM) ofrecen capacidades zero-shot, a menudo requieren inferencia en el lado del servidor, lo que plantea preocupaciones de privacidad para los datos sensibles de los pacientes. Por el contrario, los Modelos de Lenguaje Multimodales Pequeños (SMLM), adecuados para un despliegue local o en el borde (edge), suelen tener dificultades con tareas médicas complejas sin un ajuste fino (fine-tuning). Este estudio investiga si los SMLM pueden servir como una alternativa práctica y que preserve la privacidad para la clasificación de heridas mediante el aprendizaje en contexto (ICL) basado en recuperación, evitando así el reentrenamiento específico de la tarea.

Metodología
El estudio evaluó once SMLM de las familias Qwen 3.5, Ministral 3 y Gemma 4, que oscilan entre 0.8B y 27B de parámetros. Los experimentos se realizaron en dos conjuntos de datos públicos: el conjunto de datos de heridas de Kaggle (1,469 imágenes, 10 clases) y el conjunto de datos de Medetec (560 imágenes, 9 clases).

La metodología central consistió en la construcción de prompts para los SMLM utilizando tres estrategias para la selección de ejemplos de soporte (contexto few-shot):

Zero-shot: Sin ejemplos de soporte proporcionados.
Random Few-shot: Ejemplos de soporte muestreados uniformemente del conjunto de datos.
ICL basado en recuperación: Ejemplos de soporte seleccionados mediante recuperación basada en embeddings utilizando un codificador OpenAI CLIP ViT-B/32 congelado. Se probaron dos estrategias de recuperación:
- kNN: Selección de los $K$ vecinos más cercanos basados en la similitud de coseno.
- kNN+MMR: Selección de vecinos utilizando Relevancia Marginal Máxima (MMR) para equilibrar la relevancia y la diversidad.

Para aislar la contribución del razonamiento del modelo del mecanismo de recuperación en sí mismo, los autores compararon el rendimiento de los SMLM frente a una línea base de kNN ponderado de solo recuperación. Además, el estudio evaluó el impacto del tamaño del conjunto de soporte (reduciendo el grupo al 75%, 50% y 25%) y del tamaño del contexto de soporte (variando $K$ de 2 a 20) sobre el rendimiento y el costo de inferencia. También se evaluaron líneas base supervisadas (ViT, ConvNeXt, EfficientNet, ResNet) con ajuste fino completo, LoRA y ajuste de solo cabezal (head-only tuning).

Result Resultados Clave

La recuperación es crítica: La recuperación condicionada por consulta (kNN y kNN+MMR) superó consistentemente tanto al prompting zero-shot como al few-shot aleatorio. En el conjunto de datos de Kaggle, el mejor modelo (Qwen 3.5 27B con kNN+MMR) alcanzó una precisión de 0.872, comparado con el 0.580 de zero-shot. En el más desafiante conjunto de datos de Medetec, la misma configuración alcanzó una precisión de 0.678 frente al 0.367 de zero-shot.
Escala del Modelo y Razonamiento: Los modelos más grandes (p. ej., Qwen 3.5 27B, 9B; Gemma 4 26B) superaron significativamente la línea base de kNN ponderado de solo recuperación. El análisis estadístico (pruebas de McNemar) confirmó que estos modelos no se limitaron a "repetir" (parroting) los ejemplos recuperados, sino que utilizaron su conocimiento interno para corregir los errores cometidos por el control de solo recuperación. Por ejemplo, en Kaggle, Qwen 3.5 27B preservó el 96% de las predicciones correctas del control mientras "rescataba" el 61.6% de sus errores. Los modelos más pequeños (p. ej., Qwen 3.5 0.8B) a menudo no lograron superar la línea base de solo recuperación, lo que sugiere que carecen de la capacidad para integrar eficazmente el contexto recuperado.
Robustez ante la Escasez de Datos: El ICL basado en recuperación demostró robustez ante la reducción de los conjuntos de soporte. Aunque el rendimiento disminuyó a medida que el grupo de soporte se reducía, los mejores SMLM con ICL superaron a las líneas base supervisadas entrenadas con esas mismas fracciones de datos reducidos. Por ejemplo, en el conjunto de datos de Medetec con solo el 25% de los datos de soporte, el mejor SMLM (Qwen 3.5 27B) logró aproximadamente 0.53 de precisión, superando al mejor modelo supervisado (ConvNeXt-Tiny) que cayó a aproximadamente 0.41.
Tamaño de Contexto y Costo: El aumento del tamaño del contexto de soporte produjo ganancias positivas pero con rendimientos decrecientes. La mayoría de las mejoras de rendimiento se saturaron entre 8 y 10 imágenes de soporte. Más allá de este punto, las ganancias de precisión fueron mínimas mientras que la latencia de inferencia y el recuento de tokens aumentaron linealmente.

Significancia y Reivindicaciones
El artículo afirma que el ICL basado en recuperación permite a los SMLM realizar una clasificación de imágenes de heridas adaptable sin necesidad de reentrenamiento específico de la tarea o ajuste fino. Este enfoque ofrece un compromiso viable entre adaptabilidad de la tarea, costo computacional y rendimiento de clasificación, particularmente en entornos sensibles a la privacidad donde los datos no pueden enviarse a proveedores externos en la nube.

Los autores enfatizan que, si bien los SMLM no necesariamente superan a los modelos remotos grandes o a los sistemas totalmente ajustados en todos los escenarios, proporcionan un "compromiso útil que preserva la privacidad". El estudio demuestra que los contextos compactos y recuperados pueden soportar el despliegue práctico en hardware local, siempre que la escala del modelo y la estrategia de recuperación se correspondan adecuadamente con la dificultad de la tarea. El trabajo destaca que la elección de los ejemplos de soporte es central para un ICL efectivo, y que los SMLM más grandes pueden aprovechar eficazmente el contexto recuperado para exceder la simple votación de vecinos más cercanos, convirtiéndolos en una solución flexible para tareas de imagen médica donde los conjuntos de etiquetas y las definiciones pueden cambiar.

Más como este