💻 computer science

LARGO: Low-Rank Hypernetwork for Handling Missing Modalities

LARGO é uma nova hiper-rede de baixo posto que aborda o desafio das modalidades ausentes na análise de imagens multimodais, comprimindo múltiplos modelos dedicados em uma única rede por meio da decomposição tensorial Canônica de Pesos convolucionais, alcançando desempenho de última geração em diversos conjuntos de dados médicos e não médicos.

Autores originais: Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um médico tentando diagnosticar um tumor cerebral. Normalmente, você tem um kit completo: quatro tipos diferentes de ressonâncias magnéticas (como tirar fotos de quatro ângulos diferentes ou com quatro filtros distintos). Quando você tem todas as quatro, o diagnóstico é fácil e preciso.

Mas no mundo real, as coisas dão errado. Talvez a máquina para um exame específico esteja quebrada, o paciente não consiga ficar imóvel o suficiente para um segundo exame, ou o hospital simplesmente não tenha o equipamento. De repente, você só tem um ou dois exames. A maioria dos programas de computador (modelos de IA) treinados para diagnosticar tumores fica confusa ou falha completamente quando não tem seu conjunto completo de ferramentas. Eles são como um chef que só consegue preparar uma refeição perfeita se tiver todos os ingredientes na cozinha; se faltar sal, ele não consegue fazer a sopa.

O Jeito Antigo: Um Chef por Receita

Tradicionalmente, para resolver isso, os pesquisadores tentaram duas abordagens principais:

O Chef "Mestre de Tudo": Treinar uma única IA gigante para lidar com qualquer combinação de exames ausentes. O problema é que esse chef fica confuso. Ele tenta ser bom em tudo, mas acaba sendo medíocre em tarefas específicas.
A Equipe de "Especialistas": Treinar uma IA separada e perfeita para cada combinação possível (por exemplo, uma IA apenas para "T1", outra apenas para "T2", outra para "T1 e T2", etc.). Com 4 tipos de exames, existem 15 combinações diferentes. Isso significa que você precisa de 15 modelos de IA diferentes. É como contratar 15 chefs diferentes apenas para lidar com ingredientes ausentes diferentes. Isso ocupa uma quantidade massiva de espaço de armazenamento e poder de computação, tornando-o impraticável para hospitais.

A Nova Solução: LARGO (O "Projeto Mágico")

Os autores deste artigo propõem um novo sistema inteligente chamado LARGO. Em vez de contratar 15 chefs ou treinar um chef confuso, eles construíram um "Gerador de Projetos Mágicos".

Veja como funciona, usando uma analogia:

1. A Família de Receitas
Imagine que todos os 15 "Especialistas" de IA são na verdade muito semelhantes. Todos sabem como olhar para um cérebro, todos sabem como identificar um tumor e todos usam "receitas matemáticas" (pesos) semelhantes para fazer isso. A única diferença é qual exame eles estão analisando.

2. O Truque de Compressão (Decomposição CP)
Os autores perceberam que, como esses 15 modelos são tão semelhantes, eles estão cheios de redundância. É como ter 15 livros onde 90% do texto é idêntico, e apenas os títulos dos capítulos mudam.
O LARGO usa um truque matemático chamado decomposição polinomial canônica (CP). Pense nisso como pegar esses 15 livros e comprimi-los em um único "Projeto Mestre" minúsculo.

Este Projeto Mestre não armazena 15 modelos separados.
Em vez disso, armazena algumas "matrizes de fatores" (como um conjunto de blocos de Lego e um conjunto de instruções).
Um conjunto específico de instruções diz ao projeto: "Se o paciente tiver apenas o exame T2, monte o modelo usando estes blocos específicos."

3. A Construção "Sob Demanda"
Quando um paciente chega com exames ausentes, o sistema LARGO não precisa carregar um novo modelo. Ele simplesmente olha para o Projeto Mestre, lê a instrução para aquele cenário específico de ausência e reconstrói instantaneamente o modelo de IA perfeito e especializado para aquela situação exata.

É como ter uma impressora 3D que pode imprimir uma ferramenta específica para um trabalho específico em segundos, em vez de manter um armazém cheio de todas as ferramentas possíveis.

O Que Eles Provaram?

Os pesquisadores testaram este "Projeto Mágico" em dados médicos reais:

Tumores Cerebrais (BraTS 2018): Eles testaram em 15 cenários diferentes de exames de ressonância magnética ausentes. O LARGO foi o melhor no diagnóstico de tumores em 14 dos 15 cenários, comparado aos melhores métodos existentes.
Detecção de AVC (ISLES 2022): Eles testaram em 7 cenários diferentes de exames de AVC ausentes. O LARGO foi o melhor em todos os 7 cenários.
Teste Não Médico (avMNIST): Para provar que não era apenas um truque médico, eles o testaram em uma mistura de imagens e áudio (como reconhecer um número a partir de uma imagem e um som). Funcionou bem lá também, mostrando que o método é flexível.

A Conclusão

O LARGO é uma maneira de ter o desempenho especializado de 15 modelos de IA diferentes sem o custo de armazenamento de manter 15 modelos diferentes. Ele faz isso ao perceber que esses modelos são primos, não estranhos, e comprimi-los em um único projeto eficiente de "espaço de pesos" que pode reconstruir o modelo certo instantaneamente sempre que necessário.

O artigo afirma que isso resulta em maior precisão (melhores diagnósticos) e melhor eficiência (menos memória de computador necessária) em comparação com os métodos atuais de última geração, sem a necessidade de treinamento complexo em múltiplas etapas ou de "alucinar" dados falsos para preencher as lacunas.

Resumo Técnico: LARGO (Rede Hiper de Baixo Posto para Lidar com Modalidades Faltantes)

Declaração do Problema

Na análise de imagens multimodais, particularmente em imagens médicas (por exemplo, segmentação de tumores cerebrais, detecção de lesões de AVC), a aquisição de todas as modalidades disponíveis é frequentemente inviável devido a restrições de equipamentos, limites de tempo de varredura ou condições do paciente. Isso resulta em conjuntos de modalidades incompletos durante a inferência. Modelos padrão de aprendizado profundo lutam com essas entradas faltantes sem um design arquitetônico explícito.

As abordagens existentes enfrentam um trade-off fundamental entre especialização e escalabilidade:

Métodos de modelo único (por exemplo, imputação zero, codificadores compartilhados) forçam uma única rede a lidar com todas as $2^N - 1$ combinações de modalidades, frequentemente comprometendo o desempenho em configurações específicas.
Modelos dedicados (treinar um modelo separado para cada combinação) maximizam a especialização, mas escalam exponencialmente em custo de armazenamento e computação.
Métodos generativos e de destilação correm o risco de alucinar características clinicamente perigosas ou exigem treinamento complexo em múltiplos estágios.

A maioria das soluções atuais opera no espaço de características, projetando representações robustas para lidar com entradas faltantes. Este artigo propõe operar no espaço de pesos para abordar a redundância inerente ao treinamento de modelos separados para diferentes subconjuntos de modalidades.

Metodologia: LARGO

Os autores propõem o LARGO (Rede Hiper de Baixo Posto para Modalidades Faltantes), um framework de rede hiper que comprime a família de $2^N - 1$ modelos dedicados de modalidades faltantes em uma única rede.

Arquitetura Central

Formulação de Rede Hiper: Em vez de aprender $M = 2^N - 1$ conjuntos separados de pesos, o LARGO constrói uma única rede hiper $H_\phi$ que implicitamente contém todos os modelos dedicados $\{F_{\theta(m)}\}_{m=1}^M$ .
Decomposição Tensorial (CPD): O método explora a observação de que modelos que compartilham acesso às mesmas modalidades aprendem padrões semelhantes, implicando redundância de parâmetros. O LARGO empilha os pesos convolucionais de todos os $M$ $M$ modelos dedicados ao longo de uma nova "dimensão de modelo" e aplica decomposição tensorial Canônica Poliadica (CP).
- O tensor de pesos $W \in \mathbb{R}^{M \times C_{in} \times C_{out} \times K}$ é decomposto em matrizes fatoriais $A, B, C, D$ .
- A matriz fatorial $A$ indexa as combinações de modalidades, enquanto $B, C, D$ representam canais de entrada, canais de saída e dimensões do kernel, respectivamente.
Reparametrização de Baixo Posto:
- Camadas Internas: As camadas convolucionais são reparametrizadas usando a decomposição CP. A classificação $R$ é selecionada para manter um orçamento de parâmetros equivalente a um único modelo dedicado (atingindo uma taxa de compressão de $1/M$ ).
- Camadas Stem e Head: Essas camadas permanecem não comprimidas para preservar a flexibilidade de entrada/saída, embora sua contribuição de parâmetros seja negligenciável em comparação com as camadas internas.
Inferência: Durante a inferência, para uma combinação específica de modalidades $m$ , a rede hiper reconstrói os pesos convolucionais dedicados $W^{(m)}$ contraindo as matrizes fatoriais (selecionando especificamente a $m$ -ésima linha da matriz fatorial $A$ ). Isso evita o cálculo de parâmetros não utilizados para outros subconjuntos de modalidades.

Procedimento de Treinamento

Função de Perda: O modelo é treinado usando uma perda de segmentação padrão ( $L_{Dice} + L_{CE}$ ).
Estratégia: O treinamento emprega dropout aleatório de modalidades combinado com orientação de modalidade completa. Em cada iteração, um subconjunto $m$ é amostrado para minimizar a perda para aquele cenário específico de modalidade faltante, enquanto um termo usando a entrada de modalidade completa garante que a rede seja orientada por dados completos durante todo o treinamento.
Inicialização: As matrizes fatoriais $B, C, D$ são inicializadas via normal de Kaiming; a matriz $A$ é inicializada com uns. Os pesos são treinados do zero, em vez de serem derivados de pesos pré-treinados.

Contribuições Principais

Formulação Inovadora de Rede Hiper: O LARGO é o primeiro método a reparametrizar conjuntamente os pesos do kernel de toda uma família de $2^N - 1$ modelos dedicados de modalidades faltantes em uma única representação eficiente de parâmetros usando decomposição CP.
Operação no Espaço de Pesos: Diferentemente dos métodos no espaço de características, o LARGO opera diretamente no espaço de pesos, comprimindo a família exponencial de modelos em uma única variedade de pesos comprimida sem perdas auxiliares, redes professoras ou treinamento em múltiplos estágios.
Desempenho Estado da Arte: O método alcança resultados superiores em benchmarks de imagens médicas, mantendo uma contagem de parâmetros comparável a um único modelo dedicado.

Resultados Experimentais

Conjuntos de Dados e Cenários

BraTS 2018: 4 modalidades (FLAIR, T1, T1c, T2), 15 cenários de modalidades faltantes. Tarefa: Segmentação de tumor cerebral (WT, TC, ET).
ISLES 2022: 3 modalidades (DWI, ADC, FLAIR), 7 cenários de modalidades faltantes. Tarefa: Segmentação de lesão de AVC.
avMNIST: 2 modalidades (Imagem, Áudio), 3 cenários. Tarefa: Classificação (Prova de conceito para modalidades não médicas e heterogêneas).

Desempenho Quantitativo

BraTS 2018: O LARGO ficou em primeiro lugar em 15/15 cenários para Tumor Inteiro (WT), 11/15 para Núcleo do Tumor (TC) e 14/15 para Tumor Realçante (ET).
- Melhorias médias no Dice sobre as linhas de base (mmFormer, M³AE, ShaSpec, SimMLM): +0,68% (WT), +2,53% (TC) e ganhos significativos em ET.
- O LARGO alcançou um Dice médio de 87,05% (WT), 79,35% (TC) e 62,83% (ET).
ISLES 2022: O LARGO ficou em primeiro lugar em todos os 7 cenários.
- Dice médio: 62,67%, superando o próximo melhor (M³AE em 60,14%).
- Ganhos notáveis em casos difíceis de modalidade única (por exemplo, apenas ADC: 42,49% vs. 40,03%).
avMNIST: O LARGO alcançou a maior precisão média (97,00%), uma melhoria de +0,44% sobre o concorrente mais próximo, demonstrando aplicabilidade a modalidades não médicas heterogêneas.

Eficiência e Complexidade

Eficiência de Parâmetros: O LARGO mantém uma contagem de parâmetros semelhante a um único modelo dedicado (por exemplo, 22,6M no BraTS 2018) enquanto representa implicitamente todos os 15 modelos dedicados. Isso é significativamente mais eficiente que o ShaSpec (187,7M de parâmetros) e comparável a outras linhas de base.
Sobrecarga Computacional: A reconstrução dinâmica de pesos introduz um aumento de 24,6% em GFLOPs e um aumento de 25,1% na VRAM de pico em comparação com uma única espinha dorsal nnU-Net. Os autores observam que isso é aceitável, pois modelos de modalidades faltantes tipicamente introduzem operações adicionais de qualquer maneira.
Escalabilidade: O método é prático para $N \lesssim 10$ modalidades, pois as camadas stem/head não comprimidas (que crescem exponencialmente) permanecem uma fração negligenciável do total de parâmetros.

Significado e Alegações

O artigo afirma que o LARGO preenche a lacuna entre a especialização de modelos dedicados e a escalabilidade de abordagens de modelo único. Ao explorar similaridades estruturais em kernels convolucionais entre modelos específicos de modalidades via decomposição tensorial, o LARGO elimina a necessidade de escalonamento exponencial de armazenamento e computação.

Os autores posicionam o LARGO como um framework de rede hiper principiado que:

Evita os riscos de "alucinação" da imputação generativa.
Evita os compromissos de desempenho de arquiteturas de codificador compartilhado.
Alcança resultados estado da arte sem pipelines de treinamento complexos (por exemplo, destilação de conhecimento).

A prova de conceito no avMNIST sugere que o potencial do método se estende além das imagens médicas para qualquer tarefa envolvendo modalidades heterogêneas com dados faltantes. Os autores concluem que trabalhos futuros explorarão formulações de rede hiper mais expressivas e não lineares e extensões para arquiteturas baseadas em transformadores.