Extended feature allocation models

Resumo Técnico: Modelos de Alocação de Características Estendidos

Definição do Problema
Os modelos padrão de alocação de características, um pilar da estatística bayesiana não paramétrica, são projetados para dados onde as observações exibem múltiplas características (features). Uma limitação fundamental das formulações existentes (por exemplo, baseadas em Medidas Completamente Aleatórias ou CRMs) é a suposição de que os rótulos das características são independentes e identicamente distribuídos (i.i.d.) a partir de uma distribuição difusa. Consequentemente, esses modelos tratam os rótulos como identificadores irrelevantes; a informação a priori influencia as frequências das características, mas não consegue capturar estruturas de dependência entre os próprios rótulos. Isso restringe a utilidade dos modelos em problemas de predição onde o objetivo vai além de contar novas características para entender onde as novas características se situam, a quais clusters elas pertencem ou como elas se relacionam com características observadas com base em suas propriedades intrínsecas (por exemplo, embeddings genômicos ou localizações espaciais).

Metodologia
Os autores propõem um framework bayesiano unificado para modelos de alocação de características estendidos que modela conjuntamente os rótulos das características e as probabilidades das características. A metodologia baseia-se fortemente na teoria de processos de pontos e no cálculo de Palm.

1. Definição do Modelo: O framework representa as observações como processos de Bernoulli ($Z_i \sim \text{BeP}(\mu)$) derivados de um processo de pontos simples latente $\Psi$ no espaço produto $\mathcal{X} \times (0, 1]$, onde $\mathcal{X}$ é o espaço dos rótulos das características e $(0, 1]$ representa as probabilidades das características. O processo $\Psi = \sum \delta_{(X_j, S_j)}$ codifica tanto os rótulos $X_j$ quanto suas probabilidades associadas $S_j$.
2. Análise Bayesiana Geral: Utilizando o cálculo de Palm, os autores derivam expressões explícitas para:
   • Distribuições Marginais: Decomposição da probabilidade de características observadas e não observadas, onde estas últimas dependem da versão de Palm reduzida do processo a priori.
   • Distribuições Posteriores: Caracterização da posterior da medida aleatória $\mu$ como uma soma de características observadas (com pesos atualizados) e um processo residual $\mu'$ representando características não observadas. Crucialmente, a distribuição de $\mu'$ é uma versão de Palm reduzida "inclinada" (tilted) do processo a priori, o que significa que rótulos observados moldam diretamente a distribuição das características não observadas se a a priori exibir dependência de rótulos.
   • Distribuições Preditivas: Estabelecimento de que a próxima observação $Z_{n+1}$ consiste em rótulos previamente observados (com probabilidades atualizadas) e novas características extraídas do processo residual.
3. Postulados de Suficiência: O artigo estabelece dois postulados que caracterizam as a priori onde a lei preditiva para características não observadas depende apenas do tamanho da amostra $n$ (correspondendo a processos de Poisson) ou de $n$ e do número de características distintas $k$ (correspondendo a processos de Poisson misto ou binomial misto). Estes resultados identificam formalmente as limitações dos modelos padrão: qualquer a priori que pretenda alavancar rótulos informativos deve situar-se fora destas classes.
4. Novas A Prioris para Rótulos Dependentes: Para ir além do regime de "rótulo irrelevante", os autores introduzem duas classes específicas de a prioris:
   • Processos de Cox de Agrupamento (Cluster Cox Processes): Usados para modelar o agrupamento entre rótulos. A intensidade do processo de rótulos é impulsionada por uma medida aleatória latente, permitindo que as características se agrupem em clusters latentes.
   • Processos de Pontos Determinantes (DPPs) com Marcação Independente: Usados para modelar a repulsão entre rótulos. O processo de base é um DPP, garantindo que rótulos observados repilam potenciais novos rótulos, enquanto as marcas (probabilidades) são atribuídas independentemente.

Principais Contribuições e Resultados

• Framework Unificado: O artigo fornece a primeira análise bayesiana completa para modelos de alocação de características estendidos sem impor suposições específicas sobre a a priori, recuperando CRMs e processos escalonados como casos especiais.
• Caracterização de Limites Preditivos: Os postulados de suficiência (Teorema 4) delineiam formalmente a fronteira entre modelos padrão (onde os rótulos são irrelevantes para a predição) e modelos estendidos (onde os rótulos informam a predição).
• Aplicação Genômica (Agrupamento): Aplicando a a priori de Processo de Cox de Agrupamento aos dados de variantes genômicas de Glioblastoma, os autores demonstram o agrupamento simultâneo de variantes com base em embeddings de alta dimensão e a predição de novas variantes. O modelo prevê com sucesso o número de novas variantes e novos clusters, capturando o crescimento de lei de potência e revelando agrupamentos biologicamente significativos (por exemplo, variantes em genes supressores de tumor versus mutações passageiras).
• Aplicação Espacial (Repulsão): Aplicando a a priori de DPP aos dados de levantamento florestal (abetos noruegueses), o modelo aborda o problema de prever tanto o número total de árvores não observadas quanto suas localizações espaciais específicas. Os resultados mostram que o modelo captura efetivamente a repulsão espacial, prevendo que árvores não observadas provavelmente estarão localizadas em áreas distantes de árvores observadas, uma capacidade que os modelos de características padrão não possuem.

Significância
O artigo afirma que sua principal significância reside em ir além da suposição restritiva de rótulos de características i.i.d. Ao modelar conjuntamente rótulos e probabilidades, o framework permite a descoberta simultânea de características e o aprendizado de dependências entre seus rótulos. Isso permite uma inferência mais rica em cenários onde os rótulos das características carregam informações estruturais (como coordenadas espaciais ou embeddings funcionais). Os autores argumentam que esta abordagem fornece uma base principística para a elicitação de a priori na alocação de características, oferecendo uma ponte entre a especificação bayesiana clássica e a inferência preditiva. A metodologia é apresentada como uma ferramenta geral aplicável a problemas de características latentes (por exemplo, segmentação de imagem) onde a prioris estruturadas sobre as características podem gerar resultados mais realistas e interpretáveis.