⚡ electrical engineering

Integrating Implicit and Explicit Relational Biases through Graph-Based Multiple Instance Learning: A Case Study in Skin Lesion Diagnosis

Este artigo propõe uma estrutura relacional de nível duplo que combina o aprendizado implícito entre patches via um autoencoder mascarado com a modelagem explícita baseada em grafos para melhorar significativamente o desempenho do diagnóstico de lesões cutâneas nos benchmarks ISIC, alcançando uma acurácia balanceada de 79,27% no conjunto de dados ISIC-2018.

Autores originais: Rafał Buler (Gdańsk University of Technology), Jakub Buler (Gdańsk University of Technology), Maciej Bobowicz (Medical University of Gdańsk), Michał Grochowski (Gdańsk University of Technology)

Publicado 2026-08-07

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rafał Buler (Gdańsk University of Technology), Jakub Buler (Gdańsk University of Technology), Maciej Bobowicz (Medical University of Gdańsk), Michał Grochowski (Gdańsk University of Technology)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um computador a reconhecer um tipo específico de objeto, como um pássaro raro ou uma mancha difícil em uma camisa, apenas olhando para uma fotografia. No mundo da inteligência artificial, isso é chamado de classificação de imagens. Por muito tempo, os computadores foram muito bons nisso ao observar minúsculos pontos de cor (pixels) e aprender como eles se agrupam para formar formas. Mas há um detalhe: objetos do mundo real, especialmente na medicina, como manchas na pele, não são apenas pilhas aleatórias de pixels. Eles possuem uma estrutura. As partes de um sinal ou lesão conversam entre si; a borda de uma mancha se relaciona com o seu centro.

Para ajudar os computadores a entender essas relações, os cientistas usam algo chamado "viés indutivo". Pense nisso como um conjunto de regras ou uma dica que damos ao computador sobre como o mundo funciona. Uma maneira de fazer isso é o aprendizado "implícito", onde o computador descobre conexões por conta própria ao observar milhões de imagens, de forma semelhante a como você aprende a reconhecer o rosto de um amigo sem que lhe digam exatamente quais características importam. Outra maneira é o aprendizado "explícito", onde nós literalmente desenhamos um mapa para o computador, mostrando quais partes da imagem são vizinhas e devem ser comparadas. Este artigo explora o que acontece quando combinamos essas duas abordagens: deixar o computador aprender o básico por conta própria e, depois, dar a ele um mapa específico para ajudar a conectar os pontos ainda melhor. O objetivo? Tornar o diagnóstico médico mais preciso, o que é fundamental porque os médicos precisam de cada vantagem possível para detectar doenças precocemente.

A História do Artigo: Ensinando um Computador a "Conversar" Consigo Mesmo

Este artigo trata de uma equipe de pesquisadores que queria ver se conseguiriam tornar um computador mais inteligente no diagnóstico de lesões cutâneas (manchas na pele que podem ser câncer) ao misturar duas formas diferentes de pensar. Eles montaram um pequeno experimento para ver se um computador poderia melhorar em seu trabalho primeiro aprendendo a entender a "vibe" de uma imagem por conta própria e, depois, sendo forçado a conversar explicitamente com diferentes partes dessa imagem.

Primeiro, eles deram ao computador uma sessão de treinamento "autossupervisionado". Imagine que você tem um quebra-cabeça, mas você cobre metade das peças e pede a alguém para adivinhar o que está por baixo com base nas peças que ela consegue ver. O computador fez algo semelhante: ele olhou para a imagem de uma lesão cutânea, teve partes dela escondidas e tentou reconstruir as partes que faltavam. Isso ensinou o computador a entender as relações locais entre pequenos quadrados (chamados de "patches") da imagem sem precisar que um humano lhe dissesse qual era a doença. Esta é a parte implícita — aprender as regras do jogo jogando-o.

Em seguida, eles pegaram essas "vibes" aprendidas (embeddings) e tentaram classificar as manchas na pele. Eles começaram com um método padrão, onde o computador apenas olhava para todos os patches e votava no que deveria ser o diagnóstico. Este foi o ponto de partida deles, e funcionou muito bem, alcançando uma "acurácia balanceada" de 76,17% em um conjunto de testes (ISIC-2018). Mas os pesquisadores não pararam por aí. Eles queriam ver se poderiam fazer melhor adicionando a parte explícita: um mapa.

Eles organizaram os patches em diferentes "grafos", que são apenas redes sofisticadas onde os pontos (patches) são conectados por linhas (relações). Eles testaram três tipos de mapas:

Aleatório: Conectando patches a vizinhos aleatórios, como um chat de grupo caótico.
Grade (Grid): Conectando patches apenas aos seus vizinhos imediatos, como um quarteirão onde você só fala com as casas ao lado.
K-Vizinhos Mais Próximos (kNN): Conectando patches àqueles que são mais semelhantes a eles, independentemente de onde estejam na imagem, como um clube onde você só frequenta com pessoas que têm os mesmos hobbies.

Eles então usaram um tipo especial de rede neural (uma Rede Neural de Grafos) para permitir que esses patches "passassem mensagens" uns para os outros ao longo das linhas de seu mapa antes de tomarem uma decisão final.

O Que Eles Descobriram

Os resultados foram bastante claros. O computador que apenas olhava para os patches e votava (o baseline) obteve 76,17% de acurácia. Quando adicionaram o aprendizado "implícito" (a reconstrução autossupervisionada), a acurácia saltou para 77,12%. Mas a verdadeira magia aconteceu quando adicionaram os mapas explícitos.

O melhor desempenho foi o do Grafo de Grade (Grid Graph) combinado com um tipo específico de rede de passagem de mensagens chamada Rede de Atenção de Grafos (GAT). Essa configuração, que forçou o computador a respeitar o layout físico da lesão cutânea, elevou a acurácia para 79,27%. Isso é uma melhoria sólida! Em um segundo conjunto de dados, maior (ISIC-2019), a mesma estratégia de misturar o aprendizado implícito com um grafo kNN (conectando patches semelhantes) elevou a acurácia para 60,67%, superando a versão apenas implícita, que ficou em 59,84%.

Os pesquisadores também testaram um cenário de "e se": e se o computador não pudesse aprender com as mensagens e apenas usasse um mapa fixo e pré-definido? Quando eles "congelaram" a parte de aprendizado da rede de grafos, o desempenho despencou para 34,28%. Isso sugere que o computador precisa aprender ativamente como os patches se relacionam; não basta apenas ter o mapa. O próprio processo de aprendizado é o que faz a diferença.

Por Que Isso Importa

O artigo sugere que o ingrediente secreto não é apenas ter mais dados ou computadores maiores, mas sim como você conecta os pontos. Ao combinar a capacidade de um computador de aprender padrões por conta própria (implícito) com uma forma estruturada de comparar diferentes partes de uma imagem (explícito), eles criaram um sistema que é mais preciso do que muitos métodos anteriores. De fato, seu modelo individual teve um desempenho quase tão bom quanto alguns métodos de "ensemble" massivos que combinam as previsões de até 90 modelos complexos diferentes.

Os autores concluem que esta abordagem é uma maneira promissora de lidar com imagens médicas, onde a relação entre diferentes partes de uma lesão é crucial. Eles descobriram que, embora o aprendizado implícito forneça uma excelente base, adicionar a modelagem relacional explícita dá a essa base um telhado resistente. É um lembrete de que, no mundo da IA, às vezes você precisa ensinar ao computador não apenas o que olhar, mas como pensar sobre as conexões do que ele vê.

Resumo Técnico: Integrando Vieses Relacionais Implícitos e Explícitos no Diagnóstico de Lesões Cutâneas

Definição do Problema
A análise de imagens médicas frequentemente enfrenta dificuldades para capturar efetivamente as dependências estruturais entre entidades de dados. Enquanto as redes neurais convolucionais profundas (CNNs) modelam implicitamente as dependências espaciais por meio de campos receptivos hierárquicos, e abordagens baseadas em superpixels modelam regiões explicitamente usando Redes Neurais em Grafos (GNNs), permanece uma lacuna na compreensão de como integrar melhor esses paradigmas. Especificamente, não está claro se a modelagem relacional durante a extração de características é suficiente, ou se a combinação com a agregação explícita baseada em grafos proporciona benefícios adicionais para tarefas downstream. Além disso, a disponibilidade limitada de dados médicos anotados exige estratégias robustas de aprendizado de representação que não dependam exclusivamente de ajuste fino supervisionado ou de aumentos de dados que possam distorcer características clinicamente relevantes.

Metodologia
O estudo propõe um framework relacional de nível duplo para classificação de imagens, avaliado no diagnóstico de lesões cutâneas utilizando os conjuntos de dados ISIC-2018 e ISIC-2019. A metodologia segue um pipeline unificado composto por três etapas principais:

Aprendizado de Representação de Patches Autossupervisionado:
Em vez do treinamento end-to-end padrão, os autores utilizam um Autoencoder de Máscara Convolucional (ConvMAE) com um backbone ViT. As imagens são decompostas em 14×14 patches não sobrepostos (196 no total, 16×16 pixels cada). O modelo é pré-treinado via modelagem de imagem mascarada, reconstruindo regiões mascaradas para aprender relações inter-patches implícitas sem depender de rótulos. O codificador é congelado após o pré-treinamento para garantir um espaço de características consistente para tarefas downstream.
Baseline de Aprendizado de Múltiplas Instâncias (MIL):
O codificador congelado gera embeddings de patches que servem como um "saco de instâncias" para um classificador AMIL (Attention-based MIL). Neste baseline, os patches são tratados como entidades independentes, e um mecanismo de atenção os agrega em uma única representação ao nível da imagem. Isso serve como um ponto de referência para a modelagem relacional implícita (via espaço de embedding) sem restrições estruturais explícitas.
Agregação Explícita Baseada em Grafos:
Para introduzir vieses indutivos relacionais explícitos, os embeddings dos patches são organizados em topologias de grafos antes da agregação. Três estratégias de construção são avaliadas:
- Grafos Aleatórios: Nós conectados a $r$ vizinhos aleatórios.
- Grafos de Grade (Grid Graphs): Nós conectados a vizinhos espacialmente adjacentes (vizinhança de 4 ou 8 vizinhos) com base no layout original de 14×14.
- Grafos de k-Vizinhos Mais Próximos (kNN): Nós conectados com base na distância euclidiana no espaço de características.
Esses grafos são processados por Redes Neurais em Grafos (especificamente Redes de Atenção em Grafos, GAT) para realizar a passagem de mensagens, refinando as representações dos patches. Os embeddings de nós resultantes são então agregados via o mesmo pooling de MIL baseado em atenção usado no baseline.

Principais Contribuições

Framework de Nível Duplo: O artigo une o aprendizado de representação implícita (via reconstrução de máscara autossupervisionada) e a modelagem estrutural explícita (via passagem de mensagem baseada em grafos).
Análise Comparativa: Compara sistematicamente três paradigmas: classificação padrão baseada em CNN, MIL baseada em patches autossupervisionado e MIL potencializada por grafos.
Ablação de Aprendizado Relacional: Ao avaliar uma configuração de "GNN congelada" (onde os pesos de passagem de mensagem são fixos), o estudo isola o impacto da modelagem relacional aprendida do mero aumento da capacidade do modelo.
Benchmarking: A abordagem é rigorosamente testada em dois benchmarks independentes de lesões cutâneas (ISIC-2018 e ISIC-2019) usando a acurácia balanceada como métrica primária.

Resultados
Os resultados experimentais demonstram que a combinação de modelagem implícita e explícita produz desempenho superior:

ISIC-2018: O baseline EfficientNet-B3 alcançou 76,17% de acurácia balanceada. O baseline AMIL autossupervisionado (apenas implícito) melhorou este valor para 77,12%. A Rede de Atenção em Grafos totalmente integrada com estrutura de Grade (Grid) alcançou o desempenho mais alto de 79,27%. Notavelmente, congelar as camadas da GNN causou uma queda significativa no desempenho (para 34,28%), confirmando que a passagem de mensagem aprendida é crítica.
ISIC-2019: A abordagem AMIL implícita alcançou 59,84%, enquanto a combinação com um grafo kNN (k=4) e camadas GAT alcançou 60,67%.
Comparação: A abordagem de modelo único proposta supera métodos anteriores de aprendizado profundo de modelo único e permanece competitiva com métodos complexos de ensemble (ex: ensembles de 25–90 modelos) no ISIC-2018, mantendo resultados fortes no ISIC-2019 sem necessidade de ensembling.

Significância e Alegações
Os autores afirmam que o estudo destaca os papéis complementares da modelagem relacional implícita e explícita na classificação baseada em patches. Os resultados sugerem que a informação relacional pode ser efetivamente codificada durante o pré-treinamento autossupervisionado e posteriormente potencializada através da modelagem explícita de grafos. O framework demonstra fortes capacidades de generalização, oferecendo um guia para o design de arquiteturas eficientes que não dependem de ensembles massivos. Os autores enfatizam que sua abordagem fornece uma base robusta para a análise de imagens médicas, particularmente em cenários onde a integração de pistas visuais espacialmente distribuídas é essencial para um diagnóstico preciso.

Resumo Técnico: Integrando Vieses Relacionais Implícitos e Explícitos no Diagnóstico de Lesões Cutâneas

Mais como este