Manifold-Preserving Superpixel Hierarchies and Embeddings for the Exploration of High-Dimensional Images

Este artigo apresenta uma nova hierarquia de superpixels para imagens de alta dimensão que incorpora a estrutura do manifold de atributos durante a construção, permitindo uma exploração consistente e espacialmente coerente tanto no espaço da imagem quanto no espaço de atributos.

O essencial

Imagine que você tem uma foto de uma cidade vista de um avião. Em uma foto comum, cada "pedaço" da imagem (um pixel) tem apenas três cores: vermelho, verde e azul. É fácil de entender.

Mas agora, imagine que essa foto é hiperspectral. Cada pequeno pedaço da imagem não tem apenas 3 cores, mas sim centenas de informações diferentes: a quantidade de um tipo específico de mineral, a umidade do solo, a presença de uma certa proteína, a temperatura, etc. É como se cada pixel fosse um pequeno cientista com uma lista de 200 dados sobre si mesmo.

O problema é: como você organiza e explora essa montanha de dados? Se você tentar olhar tudo de uma vez, fica uma bagunça. Se tentar simplificar demais, perde os detalhes importantes.

Os autores deste artigo criaram uma ferramenta genial para resolver isso. Vamos explicar como funciona usando uma analogia simples: A Construção de uma Cidade de Legos.

1. O Problema: O Mapa Desconectado

Antes dessa nova técnica, existiam duas formas de olhar para esses dados:

• Olhar só pela imagem: Você vê a forma das coisas (um campo, um rio), mas não sabe o que tem dentro delas.
• Olhar só pelos dados: Você vê grupos de coisas parecidas (todos os pixels com muita proteína X), mas eles podem estar espalhados por lugares totalmente diferentes na foto. É como ter uma lista de todos os "amigos de futebol" da cidade, mas sem saber onde eles moram.

As ferramentas antigas tentavam agrupar esses dados, mas faziam isso de forma "cega" em relação à imagem. Elas podiam juntar dois pixels que estão a quilômetros de distância só porque têm dados parecidos, ignorando que na foto eles são vizinhos de um rio e de uma montanha. Isso tornava a exploração confusa.

2. A Solução: O "Superpixel" Inteligente

Os autores criaram algo chamado Superpixel. Pense em um superpixel não como um quadrado perfeito, mas como uma ilha de Lego.

• Em vez de olhar pixel por pixel (que são milhões), o computador começa a juntar pixels vizinhos que parecem "amigos" (têm dados parecidos) para formar ilhas maiores.
• A mágica aqui é que eles não usam apenas a distância física (vizinhos na foto) nem apenas a semelhança dos dados. Eles usam uma fórmula mágica baseada em "caminhadas aleatórias".

A Analogia da Caminhada Aleatória:
Imagine que cada pixel é uma pessoa em uma grande festa. Para saber quem é "amigo" de quem, você não pergunta apenas "você mora perto?". Você manda essas pessoas fazerem uma caminhada aleatória pela festa.

• Se a pessoa do Pixel A caminha e encontra muitas pessoas que o Pixel B também encontra, eles são "amigos próximos" no mundo dos dados, mesmo que não estejam lado a lado na foto.
• O computador usa essa "caminhada" para decidir quais pixels devem ser colados juntos para formar um Superpixel.

3. A Hierarquia: Da Árvore Genealógica à Floresta

Agora, imagine que você tem uma foto de uma floresta.

• Nível 1 (Detalhe): Você vê cada folha individualmente.
• Nível 2: Você agrupa folhas que estão no mesmo galho.
• Nível 3: Você agrupa galhos que formam uma árvore.
• Nível 4: Você agrupa árvores que formam um bosque inteiro.

Essa é a Hierarquia. A ferramenta cria várias "versões" da mesma imagem, onde você pode começar olhando para a floresta inteira (visão geral) e, com um clique, dar zoom em uma árvore específica, depois em um galho, e finalmente em uma folha.

O grande diferencial é que, em cada nível dessa hierarquia, o computador lembra onde as coisas estão na foto.

• Se você clica em um "bosque" na visualização de dados, ele mostra exatamente onde esse bosque está na imagem.
• Se você clica em uma área na imagem, ele mostra quais dados compõem aquela área.

4. Por que isso é incrível?

Imagine que você é um detetive investigando um crime em uma cidade gigante (os dados).

• Método antigo: Você recebe uma lista de suspeitos baseada apenas em DNA. Você vê 100 pessoas parecidas, mas elas estão espalhadas por 10 bairros diferentes. Você perde tempo viajando de um lado para o outro tentando entender o padrão.
• Método novo (deste artigo): O computador agrupa os suspeitos em "bairros" (superpixels) baseados no DNA, mas mantendo a geografia. Você vê que o "Bairro Vermelho" tem um padrão de DNA muito específico. Você clica no Bairro Vermelho e, instantaneamente, vê no mapa da cidade exatamente onde ele fica. Você pode dar zoom no bairro e ver as ruas, e depois nas casas.

Resumo da Ópera

Os autores criaram um sistema que:

1. Agrupa pedaços da imagem (superpixels) de forma inteligente, olhando tanto para a posição (onde está na foto) quanto para o conteúdo (o que os dados dizem).
2. Cria uma escada de zoom (hierarquia) onde você pode ver o panorama geral ou os detalhes minúsculos, sempre mantendo a conexão entre a imagem e os dados.
3. Usa uma técnica de "caminhadas aleatórias" para garantir que os grupos feitos façam sentido matemático e visual ao mesmo tempo.

Isso permite que cientistas (que estudam câncer, satélites, geologia, etc.) explorem imagens gigantescas e complexas de forma rápida, intuitiva e sem perder a noção de onde as coisas estão no mundo real. É como ter um mapa interativo que entende tanto a geografia quanto a história de cada lugar.

Resumo técnico

Resumo Técnico: Hierarquias de Superpixels e Embeddings Preservadores de Variedade para Imagens de Alta Dimensão

1. Problema e Motivação

Imagens de alta dimensão (onde cada pixel possui um vetor de atributos de alta dimensão, como em imagens hiperespectrais ou de citometria de massa) apresentam desafios significativos para visualização e exploração.

• Limitações dos Métodos Atuais: As técnicas tradicionais de redução de dimensionalidade (DR), como t-SNE e UMAP, são eficazes para dados tabulares, mas enfrentam dificuldades com imagens de milhões de pixels devido a custos computacionais e à perda de contexto espacial.
• Falha nas Abordagens Hierárquicas Existentes: Métodos hierárquicos de DR (como HSNE e HUMAP) constroem hierarquias baseadas puramente na informação de atributos, ignorando a disposição espacial dos pixels. Isso resulta em "marcadores" (landmarks) que representam pixels dispersos geograficamente na imagem, enquanto regiões coesas de pixels com atributos similares podem ser representadas por múltiplos marcadores.
• Consequência: Essa desconexão impede a exploração consistente de regiões de interesse (ROI) no espaço da imagem, pois não há congruência entre uma região espacial e suas abstrações na hierarquia de atributos.

2. Metodologia Proposta

Os autores propõem uma hierarquia de superpixels preservadora de variedade que integra simultaneamente o layout espacial da imagem e a estrutura do manifold (variedade) dos atributos de alta dimensão. O fluxo de trabalho consiste em três etapas principais:

A. Construção do Gráfico de Vizinhança (Espaço de Atributos)

• Em vez de usar distâncias euclidianas globais, o método constrói um gráfico de vizinhança de k-vizinhos mais próximos (kNN) no espaço de atributos.
• Para capturar a estrutura não linear subjacente (manifold), utiliza-se caminhadas aleatórias (random walks) sobre este gráfico.
• Cada nó (pixel) gera um vetor de características baseado na distribuição de visitas das caminhadas aleatórias. A similaridade entre dois nós é calculada pelo Coeficiente de Bhattacharyya sobre a sobreposição dessas distribuições de probabilidade. Isso é mais robusto que caminhos mais curtos (geodésicos), que podem criar "atalhos" que distorcem o manifold.

B. Construção da Hierarquia de Superpixels

• A hierarquia é construída de baixo para cima (bottom-up) utilizando uma adaptação do algoritmo de Borůvka.
• Critério de Fusão: Dois superpixels adjacentes no espaço da imagem são fundidos se apresentarem a maior similaridade (maior Coeficiente de Bhattacharyya) baseada nos seus vetores de características de caminhadas aleatórias.
• Atualização de Atributos: Ao fundir superpixels, os vetores de características (linhas da matriz de transição) são somados e re-normalizados, permitindo que o processo seja repetido sem precisar recalcular caminhadas aleatórias do zero.
• Isso garante que cada nível da hierarquia represente regiões espacialmente contíguas que também são semanticamente similares no espaço de atributos.

C. Embeddings Hierárquicos

• Em cada nível da hierarquia, os superpixels são embebidos no espaço 2D usando técnicas de DR não lineares (t-SNE ou UMAP).
• A matriz de probabilidade condicional necessária para o t-SNE/UMAP é substituída pela distância baseada no Coeficiente de Bhattacharyya derivada das caminhadas aleatórias.
• Refinamento de Subconjuntos: Para exploração interativa, é possível selecionar uma região no embedding e refinar a visualização para o nível inferior da hierarquia, mantendo a coerência espacial e de atributos.

3. Principais Contribuições

1. Hierarquia Guiada pela Imagem: Primeira abordagem de DR hierárquica que constrói a hierarquia combinando agregação no espaço de atributos e no espaço da imagem através de superpixels.
2. Medida de Similaridade Preservadora de Manifold: Desenvolvimento de uma medida de similaridade baseada em caminhadas aleatórias e sobreposição de distribuições (Bhattacharyya) especificamente adaptada para espaços de atributos de alta dimensão, superando as limitações de distâncias euclidianas ou geodésicas simples.
3. Fluxo de Trabalho Unificado: Integração de segmentação (superpixels) e exploração (embedding) em um único fluxo, permitindo que regiões de interesse no espaço da imagem correspondam diretamente a clusters coerentes no espaço de atributos.
4. Implementação Disponível: O método foi implementado como uma biblioteca e um plugin interativo no framework ManiVault.

4. Resultados e Validação

Os autores validaram o método em dois casos de uso reais e uma avaliação quantitativa:

• Caso de Uso 1: Imagens Hiperespectrais (Indian Pines):

  • Comparado ao HSNE (estado da arte), a hierarquia de superpixels propôs representou a mesma região de interesse (ROI) com muito menos landmarks (326 superpixels vs. 1.402 landmarks no HSNE para o mesmo nível de detalhe).
  • Isso resultou em embeddings mais limpos, com menos ruído e maior clareza estrutural, permitindo uma exploração mais eficiente.
  • A refinamento da seleção mostrou que os superpixels mantêm a coerência espacial, enquanto o HSNE espalha os pontos por grandes áreas da imagem.

• Caso de Uso 2: Imagens de Tecido (CyCIF - Citometria de Massa):

  • Aplicado em dados de tecido canceroso com 54 canais de proteínas.
  • A hierarquia conseguiu segmentar e agrupar células biologicamente relevantes (ex: células T regulatórias FOXP3) de forma coerente.
  • A visualização hierárquica permitiu distinguir estruturas de tecido (derme vs. epiderme) em níveis altos de abstração e identificar células individuais e vasos sanguíneos em níveis mais detalhados.

• Avaliação Quantitativa:

  • Comparado a métodos clássicos de superpixel (FH, ERS, SLIC, BB) em termos de Erro de Subsegmentação (UE) e Variação Explicada (EV).
  • O método proposto (SPH) alcançou desempenho competitivo, muitas vezes superando os outros em Variação Explicada (EV), indicando que os superpixels capturam bem a estrutura dos dados, mesmo sem ser o objetivo principal de segmentação pura.

5. Significado e Conclusão

Este trabalho preenche uma lacuna crítica na visualização de dados científicos de alta dimensão. Ao garantir que a hierarquia de dados respeite tanto a topologia dos atributos quanto a continuidade espacial da imagem, o método permite que pesquisadores explorem grandes conjuntos de dados de forma intuitiva.

• Eficiência: Reduz a complexidade computacional ao representar regiões coesas com menos pontos no embedding.
• Interpretabilidade: A correspondência direta entre o espaço da imagem e o espaço de atributos facilita a descoberta de padrões que seriam perdidos em abordagens puramente baseadas em atributos.
• Aplicabilidade: O método é particularmente valioso para áreas como geociências (hiperespectral), biologia sistêmica (citometria) e análise de patrimônio cultural, onde a relação espacial e espectral é fundamental.

Em suma, a proposta transforma a exploração de imagens de alta dimensão de uma tarefa desconectada em um processo unificado e coerente, onde a "visão de conjunto" e os "detalhes sob demanda" são mantidos consistentes através de níveis de abstração.