🤖 AI

In-Context Multiple Instance Learning

Este artigo propõe uma abordagem de aprendizado em contexto para Aprendizado de Múltiplas Instâncias que aproveita uma arquitetura do tipo Perceiver pré-treinada em dados sintéticos diversos para alcançar um desempenho sólido em novas tarefas com o mínimo de sacos rotulados, exigindo apenas uma única passagem direta sem atualizações de gradiente.

Autores originais: Alexander Möllers, Marvin Sextro, Julius Hense, Gabriel Dernbach, Klaus-Robert Müller

Publicado 2026-06-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexander Möllers, Marvin Sextro, Julius Hense, Gabriel Dernbach, Klaus-Robert Müller

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O "Detetive de Vendas nos Olhos"

Imagine que você é um detetive tentando resolver um crime, mas só tem permissão para olhar para um monte de sacos de evidências. Você consegue ver o que há dentro de cada saco (alguns fios de cabelo, uma impressão digital, um pedaço de tecido), mas não sabe qual item específico é a "arma do crime". Você só recebe um rótulo para o saco inteiro: "Culpado" ou "Inocente".

Isso é o Aprendizado de Múltiplas Instâncias (Multiple Instance Learning - MIL). É usado na vida real para coisas como:

Patologia: Um médico olha para uma lâmina inteira de tecido (o saco) e diz "Câncer", mas não aponta para a célula exata que o causou.
Imagens de Satélite: Um satélite tira uma foto de uma floresta (o saco) e diz "Fogo", mas o fogo pode ser apenas uma pequena mancha de fumaça.

O Problema: Geralmente, para ensinar um computador a fazer isso, você precisa de milhares de sacos rotulados. Mas, no mundo real, médicos e cientistas muitas vezes têm apenas um punhado de exemplos (talvez 20 ou 30). Se você tentar ensinar um computador com tão poucos exemplos, ele pode:

Overfit (Sobreajuste): Ele memoriza os poucos exemplos perfeitamente, mas falha em novos casos (como um aluno que memoriza o gabarito, mas não consegue resolver um novo problema de matemática).
Ser Muito Rígido: Ele usa uma regra simples que não se ajusta à realidade complexa.

A Solução: "Aprendizado de Múltiplas Instâncias em Contexto" (ICMIL)

Os autores introduzem um novo método chamado ICMIL. Pense nisso como treinar um detetive não em casos de crimes reais, mas em milhões de cenas de crimes falsas e inventadas primeiro.

Veja como funciona, passo a passo:

1. A "Academia de Treinamento" (Dados Sintéticos)

Em vez de esperar por dados reais, os pesquisadores construíram uma "academia" onde geraram milhões de sacos e rótulos falsos.

A Reviravolta: Eles não criaram apenas um tipo de dado falso. Eles criaram dois "sabores" diferentes de dados falsos:
- Sabor A (Fatorado): Assume que o rótulo do saco é apenas uma soma simples de suas partes (ex: "Se houver qualquer fio de cabelo vermelho no saco, ele é culpado").
- Sabor B (Conjunto/Joint): Assume que as partes trabalham juntas de formas complexas (ex: "Só é culpado se houver um cabelo vermelho E um tipo específico de sapato E eles estiverem próximos um do outro").
Por quê? Ao treinar em ambos, o modelo aprende a ser flexível. Ele aprende que às vezes a resposta é simples e, às vezes, é um quebra-cabeça complexo.

2. O "Cérebro Inteligente" (A Arquitetura)

Para lidar com esses sacos, eles construíram um cérebro especial usando uma arquitetura do tipo Perceiver.

A Analogia: Imagine uma equipe de gerentes.
- Primeiro, cada gerente olha para seus próprios membros de equipe (as instâncias dentro de um saco) e seleciona os mais importantes.
- Depois, os gerentes conversam entre si para comparar notas. "Ei, minha equipe tem um fio de cabelo vermelho, a sua tem também?"
- Isso acontece em um ciclo. Eles continuam refinando seu entendimento ao olhar para as instâncias e, em seguida, comparando com outros sacos.
O Benefício: Isso permite que o modelo seja inteligente sobre quais detalhes importam, sem precisar ser instruído exatamente sobre o que procurar a cada vez.

3. O "Truque de Mágica" (Inferência)

Esta é a parte mais impressionante. Uma vez que o modelo é treinado nos dados falsos, o trabalho está feito.

Sem Retreinamento: Quando você entrega a ele um novo problema real (ex: um novo conjunto de lâminas de tecido), você não precisa retreinar, ajustar configurações ou rodar por horas.
One-Shot (Passagem Única): Você apenas entrega os novos sacos e os poucos exemplos rotulados que possui (o "contexto"). O modelo entende a regra instantaneamente e prevê as respostas em uma única passagem.
Analogia: É como um chef que praticou cozinhar milhares de refeições falsas. Quando você chega com alguns ingredientes e diz: "Faça uma sopa para mim", ele não precisa ler uma receita ou praticar; ele simplesmente cozinha perfeitamente de imediato porque já viu todas as variações possíveis antes.

O Que Eles Descobriram?

Os pesquisadores testaram este "detetive treinado" em 12 desafios diferentes do mundo real (como detectar câncer, identificar animais em fotos ou encontrar letras específicas).

O Resultado: O modelo ICMIL superou todos os métodos padrão que exigem retreinamento para a tarefa específica.
O Ingrediente Secreto: O modelo treinado na mistura dos sabores de dados falsos (tanto simples quanto complexos) teve o melhor desempenho geral. Ele foi um "generalista" que conseguiu lidar com quase qualquer situação, enquanto modelos treinados em apenas um tipo de dado falso eram bons em algumas coisas, mas ruins em outras.
Velocidade: Como não precisa retreinar ou realizar verificações cruzadas complexas para cada novo trabalho, ele é muito mais rápido do que os métodos tradicionais.

Resumo

O artigo propõe uma maneira de resolver problemas difíceis de "saco de itens" quando se tem pouquíssimos exemplos. Em vez de lutar para aprender com uma quantidade minúscula de dados reais, eles pré-treinam uma IA em uma vasta biblioteca de dados sintéticos e inventados que cobre todas as formas possíveis de um problema ser resolvido.

Quando um problema real surge, a IA usa sua "experiência" do mundo falso para entender instantaneamente a nova tarefa e resolvê-la, sem precisar de retreinamento. É como dar a um estudante uma biblioteca com todas as questões de prova possíveis do mundo, para que, quando o teste real chegar, ele já saiba as respostas.

Resumo Técnico: In-Context Multiple Instance Learning (ICMIL)

Definição do Problema

O Aprendizado de Múltiplas Instâncias (Multiple Instance Learning - MIL) aborda cenários onde a supervisão está disponível apenas ao nível de "bags" (coleções de instâncias), em vez de instâncias individuais. Embora seja bem-sucedido em campos como patologia computacional e imagens de satélite, os algoritmos de MIL existentes enfrentam dificuldades no regime de baixos rótulos (low-label regime), onde conjuntos de dados do mundo real frequentemente contêm apenas algumas dezenas de bags rotulados.

As abordagens atuais enfrentam um compromisso fundamental:

Modelos flexíveis (ex: MIL baseado em atenção, TransMIL) tendem a sofrer overfitting quando treinados com dados escassos.
Modelos rígidos (ex: pooling de média/máximo) codificam vieses indutivos fortes que podem não se alinhar à tarefa específica.
Métodos de pré-treinamento exigem grandes corpora de origem relevantes para a tarefa, que muitas vezes não estão disponíveis.
Métodos de aprendizado autossupervisionado comprimem a informação das instâncias em representações fixas sem conhecimento da tarefa downstream, potencialmente descartando características críticas.

Consequentemente, nenhum método existente permite aprender a partir de um pequeno número de bags rotulados no momento da inferência sem exigir um grande corpus de pré-treinamento ou atualizações de gradiente específicas para a tarefa.

Metodologia

Conceito Central: In-Context Multiple Instance Learning (ICMIS)

Os autores propõem o ICMIL, um framework baseado no paradigma de Redes Ajustadas a Dados Prévios (Prior-data Fitted Networks - PFN). Em vez de treinar um modelo para ajustar um conjunto de dados específico, o ICMIL é pré-treinado em dados sintéticos estruturados em bags diversos para aproximar a distribuição preditiva posterior sobre os rótulos dos bags.

No momento da inferência, o modelo recebe um conjunto de dados MIL real (bags de contexto rotulados e um bag de consulta/query) como entrada e classifica o query em uma única passagem direta (forward pass), sem atualizações de gradiente ou ajuste de hiperparâmetros. O modelo efetivamente aprende "como são os classificadores de bags plausíveis" através de tarefas simuladas, permitendo-lhe inferir a regra de rotulagem para bags não vistos.

Design Arquitetural

Para adaptar as PFNs a entradas de conjuntos hierárquicos (bags de instâncias), os autores abordam três desafios específicos usando uma arquitetura estilo Perceiver:

Escalabilidade Computacional: A atenção ingênua sobre todas as instâncias em todos os bags escala quadraticamente ( $O(N^2I^2)$ ). A arquitetura proposta utiliza tokens de bag aprendíveis que coletam informações de suas instâncias de forma iterativa e as trocam com outros bags. Isso reduz a complexidade ao processar a agregação de instâncias de forma independente por bag antes da atenção entre bags.
Compressão de Instância Dependente da Tarefa: A compressão padrão ocorre antes de o modelo ver os rótulos. O ICMIL utiliza um mecanismo de atenção iterativo onde os tokens de bag alternam entre atender às suas próprias instâncias e atender entre bags e rótulos. Isso permite que o modelo decida quais características de nível de instância preservar com base na informação específica da tarefa disponível no contexto.
Invariância de Permutação vs. Identidade do Bag: A arquitetura utiliza Multi-Head Attention (MHA), que é inerentemente invariante à permutação sobre as entradas de instância, enquanto preserva a identidade do bag através de tokens de bag distintos e atenção inter-bag.

Priors Sintéticos

A eficácia do ICMIL depende do alinhamento entre o prior de treinamento e as tarefas do mundo real. Os autores projetam duas famílias de geradores de dados sintéticos:

Priors Fatorados (Factorized Priors): Estes seguem a suposição clássica de MIL de que os rótulos dos bags são determinados por uma função invariante à permutação das instâncias ( $y = g(\phi(\{f(x_i)\}))$ ). Eles geram instâncias independentemente e as agregam via resumos discretos ou contínuos.
Priors Conjuntos (Joint Priors): Estes descartam a suposição de decomposição, definindo uma função única sobre o bag achatado ( $y = f_S(x_1, ..., x_I)$ ). Isso permite correlações inter-instâncias mais ricas dentro de um bag que os priors fatorados não conseguem expressar.

Os autores investigam se o alinhamento estrutural (Fatorado) ou a expressividade (Conjunto) produz melhor desempenho e se uma mistura de priors cria um generalista robusto.

Principais Contribuições

Framework ICMIL: Introdução de uma abordagem de aprendizado em contexto para MIL que resolve novas tarefas a partir de um punhado de bags rotulados sem atualizações de gradiente.
Arquitetura Estilo Perceiver: Uma nova arquitetura para entradas de conjuntos hierárquicos que resolve os desafios de escalabilidade, compressão dependente da tarefa e invariância de permutação.
Análise de Priors Sintéticos: Identificação de que os priors Fatorados e Conjuntos capturam vieses indutivos complementares. Os priors fatorados se destacam em tarefas de "testemunha" (witness) não correlacionadas, enquanto os priors conjuntos performam melhor em tarefas com correlações e interações dentro do bag.
Modelo Generalista Robusto: Demonstração de que um modelo treinado em uma mistura desses priors alcança o melhor desempenho médio entre os benchmarks, herdando as forças de ambas as famílias.

Resultados Experimentais

Os autores avaliaram o ICMIL em 12 benchmarks de MIL (incluindo Musk1/2, HEPMASS, TCGA e RSNA-ICH) em um regime de baixos rótulos (subamostragem para ~100 bags).

Desempenho: O modelo ICMIL (treinado em uma mistura de priors com capacidade escalonada) alcançou o maior AUROC médio (84,17) e o melhor ranking médio (4,08) em todos os benchmarks.
Comparação com Baselines: O ICMIL superou baselines supervisionados (MeanLogReg, SVM-Summ, ABMIL) e variantes de TabPFN plano (flat).
- Baselines supervisionados como o ABMIL mostraram alta variância e instabilidade devido à dificuldade de ajuste de hiperparâmetros em pequenos conjuntos de dados.
- Baselines de TabPFN plano (achatando bags para vetores) tiveram desempenho inferior, sugerindo que arquiteturas conscientes de bags (bag-aware) são necessárias para explorar a informação estrutural.
Eficiência: Ao contrário dos métodos supervisionados que exigem validação cruzada e retreinamento para cada conjunto de dados, o ICMIL classifica todos os bags de consulta em uma única passagem direta. Seu tempo de execução (wall-clock time) é competitivo com baselines lineares e de kernel simples, evitando o overhead computacional do reajuste por split do ABMIL.
Variância: O ICMML demonstrou menor variância entre conjuntos de treinamento reamostrados em comparação com baselines supervisionados, indicando um compromisso viés-variância mais favorável no regime de baixa amostragem.

Significância e Alegações

O artigo afirma que o ICMIL fecha com sucesso a lacuna no aprendizado a partir de poucos bags rotulados, mudando o problema de ajustar um agregador em dados limitados para projetar bons geradores de dados (priors) que abrangem o espaço de hipóteses relevante.

As principais alegações incluem:

Adaptação Zero-Shot: O modelo generaliza através de tarefas e domínios de aplicação sem fine-tuning ou dados de treinamento específicos da tarefa.
Compromisso Viés-Variância: Ao aproximar a média Bayesiana de modelos sobre hipóteses consistentes com o contexto rotulado, o ICMIL evita a variância associada ao ajuste de um único agregador em rótulos escassos.
Priors Complementares: O estudo destaca que nenhum prior domina isoladamente; combinar priors estruturalmente alinhados (Fatorados) e expressivos (Conjuntos) gera um generalista robusto capaz de lidar com diversos regimes de MIL.

Os autores reconhecem limitações, como o atual currículo de treinamento usando tamanhos de bag pequenos (até 20 instâncias) e classificação binária com dimensões de características reduzidas. Eles sugerem que trabalhos futuros poderiam explorar priors mais ricos alinhados a domínios específicos (ex: priors espaciais para patologia) e pós-treinamento em corpora do mundo real para reduzir ainda mais a lacuna entre o sintético e o real.