Certified and accurate computation of function space norms of deep neural networks

Este trabajo presenta un marco para el cálculo certificado y preciso de normas en espacios funcionales de redes neuronales profundas, combinando aritmética de intervalos, refinamiento adaptativo y cuadratura para obtener cotas deterministas garantizadas de integrales como las normas LpL^p y Sobolev, superando las limitaciones de las evaluaciones puntuales tradicionales.

Johannes Gründler, Moritz Maibaum, Philipp PetersenMon, 09 Ma🤖 cs.LG

Bounds on Representation-Induced Confounding Bias for Treatment Effect Estimation

Este artículo propone un marco de refutación agnóstico a la representación que establece condiciones teóricas para la no identificabilidad del efecto causal condicional (CATE) y ofrece un método neuronal para calcular cotas de sesgo inducido por la reducción de dimensionalidad, permitiendo así la identificación parcial del CATE en escenarios donde la validez de la estimación se ve comprometida.

Valentyn Melnychuk, Dennis Frauen, Stefan FeuerriegelFri, 13 Ma📊 stat

Geometry of Singular Foliations and Learning Manifolds in ReLU Networks via the Data Information Matrix

El artículo propone utilizar la Matriz de Información de Datos (DIM) en redes neuronales ReLU entrenadas como clasificadores para revelar una estructura geométrica de foliación singular en los datos, demostrando que esta estructura existe casi en todas partes y que su espectro permite medir distancias entre conjuntos de datos para la transferencia de conocimiento.

Eliot Tron, Rita FioresiFri, 13 Ma📊 stat

Finance-Informed Neural Network: Learning the Geometry of Option Pricing

Este artículo presenta FINN, una red neuronal informada por finanzas que aprende la geometría de la valoración de opciones mediante un objetivo de cobertura dinámica auto-supervisado, logrando así consistencia económica, recuperación de relaciones fundamentales como la paridad put-call y una adaptación superior a entornos de volatilidad estocástica sin depender de soluciones analíticas o datos históricos de precios de opciones.

Amine M. Aboussalah, Xuanze Li, Cheng Chi, Raj PatelFri, 13 Ma💰 q-fin

Weighted Random Dot Product Graphs

Este artículo presenta un modelo no paramétrico de Grafos de Producto Ponderado Aleatorio (WRDPG) que extiende los modelos tradicionales al permitir la discriminación de distribuciones de pesos de aristas mediante momentos de orden superior, ofreciendo además garantías estadísticas para la estimación de posiciones latentes y un marco generativo para la simulación de grafos ponderados.

Bernardo Marenco, Paola Bermolen, Marcelo Fiori, Federico Larroca, Gonzalo MateosFri, 13 Ma📊 stat

Refereed Learning

Este artículo introduce el concepto de "aprendizaje arbitrado", donde un aprendiz utiliza dos proponentes competidores (uno honesto) para evaluar modelos opacos, logrando protocolos que seleccionan el mejor modelo con una precisión multiplicativa (1+ε)(1+\varepsilon) consultando la función de verdad solo una vez y comunicando una cantidad de bits polinómica, superando así drásticamente la eficiencia de los métodos tradicionales con un solo proponente.

Ran Canetti, Ephraim Linder, Connor WagamanFri, 13 Ma📊 stat

Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering

Este trabajo propone un marco bayesiano unificado que explica el aprendizaje en contexto y la dirección de activaciones en modelos de lenguaje como mecanismos que alteran las creencias sobre conceptos latentes, permitiendo predecir y controlar su comportamiento mediante la acumulación de evidencia y el ajuste de priores.

Eric Bigelow, Daniel Wurgaft, YingQiao Wang, Noah Goodman, Tomer Ullman, Hidenori Tanaka, Ekdeep Singh LubanaFri, 13 Ma📊 stat

Entropic Confinement and Mode Connectivity in Overparameterized Neural Networks

Este artículo resuelve la paradoja entre la conectividad de los valles de pérdida y la confinación de la dinámica de optimización en redes neuronales sobreparametrizadas, demostrando que las barreras entrópicas generadas por la variación de la curvatura y el ruido actúan como fuerzas efectivas que mantienen a los algoritmos localizados en los mínimos, incluso cuando el paisaje de pérdida es plano.

Luca Di Carlo, Chase Goddard, David J. SchwabFri, 13 Ma📊 stat