💻 computer science

In-Context Learning for Wound Classification with Small Multimodal Language Models

Este estudo demonstra que pequenos modelos de linguagem multimodais podem realizar efetivamente a classificação de imagens de feridas sem treinamento por meio de aprendizagem em contexto baseada em recuperação, alcançando alta precisão em conjuntos de dados públicos ao alavancar exemplos de suporte condicionados à consulta e reclassificação por relevância marginal máxima sem a necessidade de retreinamento específico para a tarefa.

Autores originais: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

Publicado 2026-07-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a reconhecer diferentes tipos de ferimentos, como um arranhão, uma queimadura ou um corte profundo. Normalmente, para ensinar um robô assim, você tem que mostrar a ele milhares de imagens rotuladas e forçá-lo a memorizá-las através de um processo chamado "treinamento". É como fazer um aluno estudar por semanas para uma única prova. Mas e se o robô pudesse apenas olhar para alguns exemplos logo antes da prova e entender tudo na hora? Esta é a ideia por trás do "Aprendizado em Contexto" (ICL - In-Context Learning). Pense nisso como entregar a um aluno uma folha de consulta com três exemplos perfeitos de uma "queimadura" e de um "corte" logo antes de ele ver a nova imagem. Ele não precisa memorizar o livro inteiro; ele só precisa olhar para os exemplos e dizer: "Ah, este novo parece com o exemplo da queimadura".

Agora, imagine que este robô seja pequeno e caiba em um notebook ou em um celular, em vez de ser um computador gigante na nuvem. Estes são chamados de "Pequenos Modelos de Linguagem Multimodais" (SMLMs - Small Multimodal Language Models). Eles são ótimos para a privacidade porque você não precisa enviar suas fotos médicas privadas para um grande servidor; o robô pode fazer o raciocínio ali mesmo no seu dispositivo. A grande questão que os cientistas têm feito é: esses pequenos robôs locais conseguem realmente fazer um bom trabalho com apenas alguns exemplos, ou eles precisam dos supercomputadores gigantes e de dados de treinamento massivos para acertar?

Este artigo coloca essa ideia à prova. Os pesquisadores queriam ver se poderiam usar esses pequenos modelos de IA locais para classificar imagens de ferimentos sem precisar retreiná-los toda vez. Eles montaram um experimento usando duas coleções públicas de fotos de ferimentos: uma com cerca de 1.469 imagens e outra com 560. Em vez de apenas pedir para a IA adivinhar (o que é chamado de "zero-shot" e frequentemente leva a palpites absurdos), eles tentaram fornecer uma "folha de consulta" de exemplos. Mas aqui está o truque: eles não escolheram apenas exemplos aleatórios. Eles usaram um sistema de busca inteligente para encontrar os exemplos que pareciam mais semelhantes à nova imagem do ferimento.

Os resultados foram bastante empolgantes para os pequenos robôs. Quando a IA recebeu um conjunto de exemplos escolhidos de forma inteligente (especificamente, 10 exemplos encontrados por um sistema de busca chamado kNN, e às vezes refinados com um método chamado MMR para garantir que os exemplos fossem diversos), ela melhorou muito em seu trabalho. No conjunto de dados maior, o melhor modelo pequeno, uma versão de 27 bilhões de parâmetros do Qwen 3.5, atingiu uma precisão de 0,872. Isso significa que ele acertou o diagnóstico mais de 87% das vezes. No conjunto de dados menor e mais difícil, ele ainda conseguiu cerca de 68% de precisão.

O estudo também descobriu que o tamanho do robô importava. Os modelos pequenos maiores (como as versões de 27B e 9B) foram capazes de usar os exemplos para melhorar significativamente seus palpites, muitas vezes superando até mesmo um programa de computador padrão que apenas vota com base no par mais próximo. No entanto, os modelos minúsculos tiveram um pouco mais de dificuldade, às vezes apenas copiando os exemplos sem realmente entender a nuance. Os pesquisadores também descobriram que você não precisa de uma folha de consulta enorme; adicionar mais de 8 a 10 exemplos não ajudava muito e apenas tornava o processo mais lento.

Crucialmente, o artigo mostra que essa abordagem funciona sem a necessidade de retreinar o modelo para cada nova tarefa. Se os médicos decidirem mudar os rótulos ou os tipos de ferimentos que estão procurando, basta trocar os exemplos no comando (prompt), e o modelo se adapta instantaneamente. Embora o desempenho não seja perfeito e dependa fortemente de ter bons exemplos e um modelo de tamanho decente, o estudo sugere que pequenos modelos de IA locais podem ser uma maneira prática e amigável à privacidade de ajudar a classificar ferimentos, ofereando uma alternativa flexível aos sistemas pesados e ávidos por dados do passado.

Resumo Técnico: Aprendizado em Contexto para Classificação de Feridas com Pequenos Modelos de Linguagem Multimodais

Definição do Problema
A classificação de imagens de feridas é tradicionalmente tratada como um problema de aprendizado supervisionado específico para a tarefa. Esse paradigma exige uma quantidade substancial de dados rotulados manualmente e necessita de retreinamento sempre que o espaço de rótulos ou o contexto de implantação muda. Tais requisitos são particularmente onerosos em ambientes médicos, onde os rótulos de especialistas são escassos, restrições de privacidade limitam o compartilhamento de dados e as definições clínicas evoluem rapidamente. Embora os Grandes Modelos de Linguagem Multimodais (LMLMs) ofereçam capacidades zero-shot, eles frequentemente exigem inferência no lado do servidor, levantando preocupações de privacidade para dados sensíveis de pacientes. Por outro lado, os Pequenos Modelos de Linguagem Multimodais (SMLMs), adequados para implantação local ou na borda (edge), muitas vezes têm dificuldade com tarefas médicas complexas sem ajuste fino (fine-tuning). Este estudo investiga se os SMLMs podem servir como uma alternativa prática e preservadora de privacidade para a classificação de feridas usando aprendizado em contexto (ICL) baseado em recuperação, evitando assim o retreinamento específico da tarefa.

Metodologia
O estudo avaliou onze SMLMs das famílias Qwen 3.5, Ministral 3 e Gemma 4, variando de 0,8B a 27B de parâmetros. Os experimentos foram conduzidos em dois conjuntos de dados públicos: o conjunto de dados de feridas do Kaggle (1.469 imagens, 10 classes) e o conjunto de dados Medetec (560 imagens, 9 classes).

A metodologia central envolveu a construção de prompts para os SMLMs utilizando três estratégias para a seleção de exemplos de suporte (contexto few-shot):

Zero-shot: Nenhum exemplo de suporte fornecido.
Random Few-shot: Exemplos de suporte amostrados uniformemente do conjunto de dados.
ICL baseado em recuperação: Exemplos de suporte selecionados via recuperação baseada em embeddings usando um codificador OpenAI CLIP ViT-B/32 congelado. Duas estratégias de recuperação foram testadas:
- kNN: Seleção dos $K$ vizinhos mais próximos com base na similaridade de cosseno.
- kNN+MMR: Seleção de vizinhos usando Relevância Marginal Máxima (Maximal Marginal Relevance) para equilibrar relevância e diversidade.

Para isolar a contribuição do raciocínio do modelo em relação ao próprio mecanismo de recuperação, os autores compararam o desempenho do SMLM contra uma linha de base de kNN ponderado apenas por recuperação. Além disso, o estudo avaliou o impacto do tamanho do conjunto de suporte (reduzindo o pool para 75%, 50% e 25%) e do tamanho do contexto de suporte (variando $K$ de 2 a 20) no desempenho e no custo de inferência. Baselines supervisionados (ViT, ConvNeXt, EfficientNet, ResNet) com full fine-tuning, LoRA e ajuste apenas da cabeça (head-only tuning) também foram avaliados para comparação.

Principais Resultados

A Recuperação é Crítica: A recuperação condicionada à consulta (kNN e kNN+MMR) superou consistentemente tanto o zero-shot quanto o few-shot aleatório. No conjunto de dados Kaggle, o melhor modelo (Qwen 3.5 27B com kNN+MMR) alcançou 0,872 de acurácia, comparado a 0,580 para o zero-shot. No mais desafiador conjunto de dados Medetec, a mesma configuração atingiu 0,678 de acurácia contra 0,367 para o zero-shot.
Escala do Modelo e Raciocínio: Modelos maiores (ex: Qwen 3.5 27B, 9B; Gemma 4 26B) superaram significativamente a linha de base de kNN ponderado apenas por recuperação. A análise estatística (testes de McNemar) confirmou que esses modelos não apenas "repetiram" os exemplos recuperados, mas utilizaram conhecimento interno para corrigir erros cometidos pelo controle de apenas recuperação. Por exemplo, no Kaggle, o Qwen 3.5 27B preservou 96% das previsões corretas do controle enquanto "resgatou" 61,6% dos erros do controle. Modelos menores (ex: Qwen 3.5 0,8B) frequentemente falharam em superar a linha de base de apenas recuperação, sugerindo que carecem de capacidade para integrar efetivamente o contexto recuperado.
Robustez à Escassez de Dados: O ICL baseado em recuperação demonstrou robustez a conjuntos de suporte reduzidos. Embora o desempenho tenha degradado conforme o pool de suporte diminuía, os melhores SMLMs com ICL superaram os baselines supervisionados treinados nas mesmas frações de dados reduzidas. Por exemplo, no conjunto de dados Medetec com apenas 25% dos dados de suporte, o melhor SMLM (Qwen 3.5 27B) alcançou ~0,53 de acurácia, superando o melhor modelo supervisionado (ConvNeXt-Tiny), que caiu para ~0,41.
Tamanho do Contexto e Custo: O aumento do tamanho do contexto de suporte gerou ganhos positivos, porém decrescentes. A maioria dos ganhos de desempenho saturou entre 8 e 10 imagens de suporte. Além desse ponto, os ganhos de acurácia foram mínimos, enquanto a latência de inferência e a contagem de tokens aumentaram linearmente.

Significância e Alegações
O artigo afirma que o ICL baseado em recuperação permite que os SMLMs realizem a classificação de imagens de feridas adaptável sem a necessidade de retreinamento ou ajuste fino específicos da tarefa. Essa abordagem oferece um compromisso viável entre adaptabilidade de tarefa, custo computacional e desempenho de classificação, particularmente em configurações sensíveis à privacidade onde os dados não podem ser enviados para provedores externos de nuvem.

Os autores enfatizam que, embora os SMLMs não superem necessariamente os grandes modelos remotos ou sistemas totalmente ajustados (fine-tuned) em todos os cenários, eles fornecem um "compromisso útil de preservação de privacidade". O estudo demonstra que contextos compactos e recuperados podem suportar a implantação prática em hardware local, desde que a escala do modelo e a estratégia de recuperação sejam adequadamente combinadas com a dificuldade da tarefa. O trabalho destaca que a escolha dos exemplos de suporte é central para um ICL eficaz, e que SMLMs maiores podem efetivamente aproveitar o contexto recuperado para exceder a simples votação de vizinhos mais próximos, tornando-os uma solução flexível para tarefas de imagem médica onde os conjuntos de rótulos e definições podem mudar.

Mais como este