Feature leakage and the identifiability of direct-dependency entropy models of neural activity

Resumo Técnico: Vazamento de Atributos e a Identificabilidade de Modelos de Entropia de Dependência Direta da Atividade Neural

Definição do Problema
Neurônios biológicos integram milhares de entradas sinápticas através de mecanismos dendríticos complexos e não lineares. No entanto, a atividade populacional é frequentemente modelada utilizando regras de entrada-saída "diretas" ou aditivas (ex: unidades logísticas), onde cada entrada contribui independentemente para um drive escalar. Existe uma lacuna crítica entre o sucesso preditivo desses modelos diretos e a interpretação mecanística desse sucesso. Trabalhos anteriores mostraram que modelos de máxima entropia (MaxEnt) diretos podem prever uma grande fração de coatividades de ordem superior e com atraso temporal em conjuntos de dados neurais. A questão central abordada aqui é se essa precisão preditiva implica que o mecanismo neural subjacente é verdadeiramente aditivo, ou se o sucesso é um artefato da distribuição específica dos estados de entrada amostrados.

O artigo argumenta que, em registros neurais esparsos e binarizados, interações de ordem superior omitidas, atrasos temporais ou estados ocultos podem ser "absorvidos" em parâmetros de primeira ordem ajustados se estiverem correlacionados com as estatísticas incluídas sob a distribuição empírica de entrada. Este fenômeno, denominado vazamento de atributos (feature leakage), significa que um modelo com alto ajuste (goodness-of-fit) pode ser mecanisticamente incorreto. Especificamente, para entradas binárias esparsas, um canal de "coskewness" (cocentramento/assimetria conjunta) permite que termos de interação projetem sobre termos de primeira ordem, criando uma ilusão de aditividade.

Metodologia
Os autores desenvolvem um framework de identificabilidade para modelos MaxEnt condicionais, utilizando geometria da informação e diagnósticos específicos para separar a predição dentro da distribuição da recuperação da regra de resposta real ($P(y|x)$).

1. Análise de Projeção de Informação: Os autores formalizam como estatísticas suficientes omitidas ($G$) deslocam os parâmetros de primeira ordem ajustados ($\hat{\theta}$) em um modelo MaxEnt restrito. Eles derivam que o deslocamento depende da covariância cruzada de Fisher entre as estatísticas incluídas ($F$) e omitidas ($G$) sob a distribuição de entrada amostrada ($P_{emp}$). Se esta covariância for não nula, efeitos omitidos vazam para os parâmetros ajustados.
2. Identidade de Coskewness: Para entradas binárias esparsas, os autores derivam uma identidade de forma fechada mostrando que a projeção de um produto pareado centrado ($\delta_i \delta_j$) sobre um atributo de primeira ordem ($\delta_i$) é proporcional à covariância de entrada e ao fator de esparsidade $(1-2p_i)$. Em regimes esparsos ($p_i \ll 0.5$), este fator é próximo de 1, criando um forte canal para que atributos de ordem superior se passem por atributos de primeira ordem.
3. Diagnósticos: Para distinguir mecanismos estáveis de primeira ordem de artefatos dependentes da distribuição, o artigo introduz três controles:
   • Reponderação de Estados (State Reweighting): Mantendo a tabela de resposta estimada $P(y|x)$ fixa enquanto altera os pesos dos estados de entrada $P(x)$ do empírico ($q_{emp}$) para o marginal de produto ($q_{prod}$) ou equilibrado ($q_{bal}$). Se a atribuição de primeira ordem cair significativamente sob a reponderação, o sucesso inicial foi sensível à distribuição.
   • Contrastes de Log-Odds Condicionais: Testando a aditividade da tabela de resposta local diretamente via $\Delta_{ij}$ (o termo de interação no log-odds), que é independente de $P(x)$.
   • Simulação de Vazamento Temporal: Quantificando como estatísticas instantâneas podem absorver mecanismos de atraso quando as entradas são autocorrelacionadas.

Resultados Principais

• Simulações de Verdade Fundamental (Ground-Truth): Em simulações com geradores puramente de ordem superior (zero drive linear), a fração aparente de informação recuperável capturada por um modelo direto ($\phi_{dir}$) variou drasticamente com base na representação e correlação de entrada. Para entradas binárias correlacionadas e esparsas, $\phi_{dir}$ atingiu ~0,84, apesar de a verdade fundamental ser puramente baseada em interação. Inversamente, sob amostragem equilibrada ou representações simétricas, $\phi_{dir}$ caiu para ~0. O controle de reponderação de estado separou com sucesso esses casos: respostas de ordem superior perderam sua atribuição de primeira ordem sob pesos equilibrados, enquanto respostas genuinamente aditivas permaneceram estáveis.
• Registros de CA1 Hipocampal: Aplicado a "cubos" locais de três entradas de registros de CA1 de camundongos (selecionados por alta coatividade e estados bem amostrados), os diagnósticos revelaram que aproximadamente metade das tabelas que pareciam de primeira ordem sob pesos empíricos tornaram-se sensíveis à distribuição sob reponderação equilibrada.
  • Sob pesos empíricos, a mediana da atribuição de primeira ordem foi 0,754.
  • Sob o controle de marginal de produto, caiu para 0,679.
  • Sob o teste de estresse de pesos equilibrados, caiu para 0,459.
  • Um nulo de substituto aditivo correspondente confirmou que essa queda não foi um artefato de amostra finita; tabelas genuinamente aditivas permaneceram estáveis, enquanto a fração "sensível" observada (48%) excedeu em muito a expectativa nula.
  • Crucialmente, mesmo as tabelas que permaneceram "bem-sucedidas" (mantidas) sob reponderação mostraram contrastes de log-odds condicionais ($\Delta_{ij}$) significativos, indicando que não eram verdadeiramente aditivas, apesar de seu poder preditivo.
• Registros de Córtex Visual: A análise de dados de córtex visual de camundongo mostrou um componente dependente da distribuição menor, porém mensurável. A maioria dos sucessos locais foi mais robusta do que em CA1, mas o efeito persistiu, sugerindo que não é exclusivo do hipocampo.
• Predição de Coatividade Bruta: O artigo demonstra que altos valores de $R^2$ na predição de coatividades brutas de ordem superior (ex: $\langle y x_i x_j \rangle$) não confirmam a aditividade condicional. Essas métricas são médias sobre $P_{emp}(x)$ e podem ser altas mesmo quando a resposta condicional é puramente interativa, desde que a geometria de amostragem projete essas interações sobre atributos de primeira ordem.

Significância e Alegações
O artigo alega que as frações de entropia explicadas diretas e as predições de coatividade bruta devem ser interpretadas melhor como afirmações sobre a predição sob a distribuição de estado observada ($P_{emp}$), e não como evidência de que mecanismos fora do modelo direto são ausentes ou pequenos.

Os autores não alegam que os modelos diretos sejam inúteis; em vez disso, argumentam que seu sucesso preditivo não identifica a ausência ou pequenez de mecanismos de ordem superior, temporais ou latentes. O framework fornece ferramentas quantitativas para declarar o escopo da contribuição preditiva de um modelo MaxEnt de dependência direta. A principal conclusão é que, sem controles como reponderação de estado e contrastes de log-odds condicionais, não se pode distinguir se um neurônio biológico integra informações sinápticas de forma não linear ou se é efetivamente uma unidade logística aditiva sob as condições de amostragem específicas do experimento. O comportamento "de primeira ordem" observado em muitos conjuntos de dados pode refletir amplamente a geometria dos inputs amostrados, em vez da biofísica intrínseca do neurônio.