Feature leakage and the identifiability of direct-dependency entropy models of neural activity

Resumen Técnico: Fuga de Características e Identificabilidad de los Modelos de Entropía de Dependencia Directa de la Actividad Neuronal

Planteamiento del Problema
Las neuronas biológicas integran miles de entradas sinápticas a través de complejos mecanismos dendríticos no lineales. Sin embargo, la actividad poblacional se modela frecuentemente mediante reglas de entrada-salida "directas" o aditivas (por ejemplo, unidades logísticas) donde cada entrada contribuye independientemente a un impulso escalar. Existe una brecha crítica entre el éxito predictivo de estos modelos directos y la interpretación mecánica de dicho éxito. Trabajos previos han demostrado que los modelos de máxima entropía (MaxEnt) directos pueden predecir una gran fracción de las coactividades de orden superior y con retraso temporal en conjuntos de datos neuronales. La cuestión central abordada aquí es si esta precisión predictiva implica que el mecanismo neuronal subyacente es verdaderamente aditivo, o si el éxito es un artefacto de la distribución específica de los estados de entrada muestreados.

El artículo argumenta que, en registros neuronales binarizados y dispersos, las interacciones de orden superior omitidas, los retrasos temporales o los estados ocultos pueden ser "absorbidos" en los parámetros de primer orden ajustados si están correlacionados con las estadísticas incluidas bajo la distribución de entrada empírica. Este fenómeno, denominado fuga de características (feature leakage), significa que un modelo con un alto ajuste de bondad puede ser mecánicamente incorrecto. Específicamente, para entradas binarias dispersas, un canal de "coskewness" (cocuarto de orden o asimetría conjunta) permite que los términos de interacción se proyecten sobre los términos de primer orden, creando una ilusión de aditividad.

Metodología
Los autores desarrollan un marco de identificabilidad para los modelos MaxEnt condicionales, utilizando la geometría de la información y diagnósticos específicos para separar la predicción dentro de la distribución de la recuperación de la regla de respuesta real ($P(y|x)$).

1. Análisis de Proyección de Información: Los autores formalizan cómo las estadísticas suficientes omitidas ($G$) desplazan los parámetros de primer orden ajustados ($\hat{\theta}$) en un modelo MaxEnt restringido. Derivan que el desplazamiento depende de la covariancia de Fisher entre las estadísticas incluidas ($F$) y las omitidas ($G$) bajo la distribución de entrada muestreada ($P_{emp}$). Si esta covariancia es distinta de cero, los efectos omitidos se filtran hacia los parámetros ajustados.
2. Identidad de Coskewness: Para entradas binarias dispersas, los autores derivan una identidad de forma cerrada que muestra que la proyección de un producto de pares centrado ($\delta_i \delta_j$) sobre una característica de primer orden ($\delta_i$) es proporcional a la covarianza de la entrada y al factor de dispersión $(1-2p_i)$. En regímenes de dispersión ($p_i \ll 0.5$), este factor es cercano a 1, creando un canal fuerte para que las características de orden superior se hagan pasar por las de primer orden.
3. Diagnósticos: Para distinguir los mecanismos estables de primer orden de los artefactos dependientes de la distribución, el artículo introduce tres controles:
   • Reponderación de Estados: Mantener fija la tabla de respuesta estimada $P(y|x)$ mientras se cambia los pesos de los estados de entrada $P(x)$ de la empírica ($q_{emp}$) a la marginal de producto ($q_{prod}$) o equilibrada ($q_{bal}$). Si la atribución de primer orden cae significativamente bajo la reponderación, el éxito inicial fue sensible a la distribución.
   • Contrastes de Log-Odds Condicionales: Probar la aditividad de la tabla de respuesta local directamente a través de $\Delta_{ij}$ (el término de interacción en el log-odds), que es independiente de $P(x)$.
   • Simulación de Fuga Temporal: Cuantificar cómo las estadísticas instantáneas pueden absorber mecanismos con retraso cuando las entradas están autocorrelacionadas.

Resultados Clave

• Simulaciones de Verdad Fundamental (Ground-Truth): En simulaciones con generadores puramente de orden superior (impulso lineal cero), la fracción aparente de información recuperable capturada por un modelo directo ($\phi_{dir}$) varió drásticamente según la representación y la correlación de la entrada. Para entradas binarias correlacionadas y dispersas, $\phi_{dir}$ alcanzó ~0.84, a pesar de que la verdad fundamental era puramente basada en la interacción. Por el contrario, bajo un muestreo equilibrado o representaciones simétricas, $\phi_{dir}$ cayó a ~0. El control de reponderación de estados separó con éxito estos casos: las respuestas de orden superior perdieron su atribución de primer orden bajo pesos equilibrados, mientras que las respuestas genuinamente aditivas permanecieron estables.
• Registros de CA1 Hipocampal: Aplicado a "cubos" locales de tres entradas de registros de CA1 de ratón (seleccionados por su alta coactividad y estados bien muestreados), los diagnósticos revelaron que aproximadamente la mitad de las tablas que parecían de primer orden bajo pesos empíricos se volvieron sensibles a la distribución bajo la reponderación equilibrada.
  • Bajo pesos empíricos, la mediana de la atribución de primer orden fue 0.754.
  • Bajo el control de la marginal de producto, cayó a 0.679.
  • Bajo el peso de la prueba de estrés equilibrada, cayó a 0.459.
  • Un nulo de sustituto aditivo emparejado confirmó que esta caída no fue un artefacto de muestra finita; las tablas genuinamente aditivas permanecieron estables, mientras que la fracción "sensible" observada (48%) superó con creces la expectativa del nulo.
  • Crucialmente, incluso las tablas que permanecieron "exitosas" (retenidas) bajo la reponderación mostraron contrastes de log-odds condicionales ($\Delta_{ij}$) significativos, indicando que no eran verdaderamente aditivas a pesar de su poder predictivo.
• Registros de la Corteza Visual: El análisis de los datos de la corteza visual de ratón mostró un componente sensible a la distribución más pequeño pero mensurable. La mayoría de los éxitos locales fueron más robustos que en CA1, pero el efecto persistió, sugiriendo que no es exclusivo del hipocampo.
• Predicción de Coactividad Cruda: El artículo demuestra que los altos valores de $R^2$ al predecir coactividades de orden superior crudas (por ejemplo, $\langle y x_i x_j \rangle$) no confirman la aditividad condicional. Estas métricas son promedios sobre $P_{emp}(x)$ y pueden ser altas incluso cuando la respuesta condicional es puramente interactiva, siempre que la geometría del muestreo proyecte esas interacciones sobre las características de primer orden.

Significado y Reivindicaciones
El artículo sostiene que las fracciones de entropía explicada directa y las predicciones de coactividad cruda deben interpretarse mejor como declaraciones sobre la predicción bajo la distribución de estado observada ($P_{emp}$), no como evidencia de que los mecanismos fuera del modelo directo sean ausentes o pequeños.

Los autores no pretenden que los modelos directos sean inútiles; más bien, argumentan que su éxito predictivo no identifica la ausencia de mecanismos de orden superior, temporales o latentes. El marco proporciona herramientas cuantitativas para declarar el alcance de la contribución predictiva de un modelo MaxEnt de dependencia directa. La conclusión clave es que, sin controles como la reponderación de estados y los contrastes de log-odds condicionales, uno no puede distinguir si una neurona biológica integra la información sináptica de forma no lineal o si es efectivamente una unidad logística aditiva bajo las condiciones de muestreo específicas del experimento. El comportamiento "de primer orden" observado en muchos conjuntos de datos refleja en gran medida la geometría de las entradas muestreadas en lugar de la biofísica intrínseca de la neurona.