Amortized Inference for Correlated Discrete Choice Models via Equivariant Neural Networks

Este trabajo propone un enfoque de inferencia amortizada mediante redes neuronales equivariantes y entrenamiento de Sobolev para aproximar probabilidades de elección en modelos con errores correlacionados, logrando estimadores de máxima verosimilitud consistentes que superan significativamente en precisión y velocidad a los simuladores GHK tradicionales.

Lo esencial

Imagina que eres un chef experto en predecir qué plato va a pedir un cliente en un restaurante con un menú gigante.

El Problema: El Menú Infinito y la "Adivinanza" Lenta
En el mundo de la economía y el marketing, los modelos de "elección discreta" son como esos menús. Intentan predecir qué opción elegirá una persona entre muchas (comprar un coche, elegir un banco, tomar un autobús).

Durante años, los economistas han usado una receta simple llamada Logit. Es como si el chef dijera: "Si el plato A tiene un 10% más de sabor que el B, el cliente lo elegirá". Es rápido y fácil, pero tiene un defecto grave: asume que todos los platos son totalmente independientes. Si añades un nuevo plato (un tercer coche), la receta antigua no sabe cómo afecta eso a la elección entre los otros dos. Es como si el chef no entendiera que si hay dos tipos de pizza, la gente las compara entre sí, no solo con la ensalada.

Para arreglar esto, existe una receta más realista llamada Probit Multinomial. Esta receta entiende que los platos están relacionados (si hay dos pizzas, compiten entre ellas). Pero hay un problema: calcular las probabilidades con esta receta es como intentar adivinar el resultado de lanzar 100 dados a la vez, una y otra vez, para cada cliente. Es tan lento que los economistas rara vez la usan, porque tardaría años en analizar los datos de una sola tienda.

La Solución: El "Emulador" o el Chef Robot
Los autores de este paper (Easton Huch y Michael Keane) proponen una idea brillante: en lugar de calcular la respuesta cada vez que llega un cliente, entrenamos a un robot (una red neuronal) para que aprenda la receta de memoria.

A esto lo llaman "Inferencia Amortizada".

Imagina que en lugar de que el chef calcule la probabilidad de cada pedido desde cero (lo cual es lento), le das al robot un millón de ejemplos de gente comiendo. El robot estudia esos ejemplos y aprende un "truco" matemático. Una vez entrenado, el robot puede decirte instantáneamente qué plato elegirá un cliente nuevo, sin tener que lanzar los dados ni hacer cálculos complejos.

¿Cómo funciona el robot? (La Arquitectura)
El robot no es un robot cualquiera; está diseñado con "superpoderes" específicos para no cometer errores tontos:

1. Es "Equivariante" (No le importa el orden): Si cambias el orden de los platos en el menú (pones la pizza primero o la ensalada primero), el robot sabe que la elección del cliente no debería cambiar. Está programado para entender que el orden de la lista no importa, solo el contenido.
2. Es "Invariante" (No le importa el precio absoluto): Si subes el precio de todos los platos en 10 dólares, la elección relativa del cliente no debería cambiar. El robot está diseñado para ignorar esos cambios globales y centrarse en las diferencias.
3. Aprende con "Sobolev" (No solo la respuesta, sino el "por qué"): No solo le enseñamos al robot qué eligió el cliente, sino también cómo cambiaría su elección si cambiáramos ligeramente el precio. Es como enseñarle al robot no solo la respuesta, sino también la lógica detrás de ella. Esto hace que sus predicciones sean muy suaves y precisas.

Los Resultados: Velocidad vs. Precisión
Los autores probaron su robot contra el método antiguo (que usaba simulaciones lentas llamadas "GHK").

• Velocidad: El robot es muchísimo más rápido. Donde el método antiguo tardaba minutos o horas, el robot lo hace en milisegundos.
• Precisión: El robot es tan preciso como el método lento, e incluso mejor en algunos casos.
• Flexibilidad: Una vez entrenado, el robot sirve para cualquier tipo de menú, sin importar cuántos platos haya o cómo se relacionen entre sí.

La Analogía Final
Imagina que quieres predecir el clima.

• El método antiguo (GHK): Es como enviar un equipo de científicos a medir la temperatura, la humedad y el viento en cada rincón de la ciudad, hacer miles de cálculos manuales y luego darte un pronóstico. Es preciso, pero tarda días.
• El método nuevo (Emulador): Es como entrenar a un meteorista experto con 100 años de datos históricos. Ahora, cuando miras el cielo, el meteorista te dice el pronóstico en un segundo porque ya "sabe" cómo funciona el clima.

En resumen:
Este paper nos dice que ya no necesitamos elegir entre ser rápidos (y poco precisos) o ser precisos (y lentos). Con esta nueva técnica de "entrenar a un robot" una sola vez, podemos tener modelos económicos que entiendan la complejidad real de las decisiones humanas (como por qué elegimos un iPhone en lugar de un Samsung, y cómo eso afecta la elección de un iPad) y hacerlo a la velocidad de la luz. Es un cambio de paradigma que hace que la economía sea más realista y mucho más rápida.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Amortized Inference for Correlated Discrete Choice Models via Equivariant Neural Networks" (Inferencia amortizada para modelos de elección discreta correlacionada mediante redes neuronales equivariantes), escrito por Easton Huch y Michael Keane.

---

1. El Problema: Limitaciones de los Modelos de Elección Discreta

Los modelos de elección discreta son fundamentales en economía, ciencias de la gestión y marketing para predecir el comportamiento de los agentes. Sin embargo, existen dos enfoques principales con trade-offs significativos:

• Logit Multinomial (MNL): Es el estándar debido a su forma cerrada y conveniencia computacional. Sin embargo, asume que los errores son independientes e idénticamente distribuidos (i.i.d.) siguiendo una distribución Gumbel. Esto implica la propiedad de Independencia de Alternativas Irrelevantes (IIA), lo que genera patrones de sustitución poco realistas (ej. la proporción de probabilidades entre dos opciones no cambia si se introduce una tercera).
• Probit Multinomial (MNP): Permite errores correlacionados (distribución normal multivariada), relajando la IIA y capturando patrones de sustitución realistas. No obstante, sus probabilidades de elección no tienen forma cerrada y requieren métodos de simulación costosos (como el simulador GHK o MCMC) para evaluar la verosimilitud, lo que hace que la estimación sea computacionalmente intensiva y lenta, especialmente con muchas alternativas.

El objetivo del trabajo es desarrollar un método que combine la flexibilidad del MNP (y otras distribuciones de error correlacionadas) con la velocidad de inferencia de los modelos logit, sin sacrificar la interpretabilidad económica.

2. Metodología: Inferencia Amortizada con Redes Neuronales

Los autores proponen un enfoque de inferencia amortizada. En lugar de simular las probabilidades de elección desde cero en cada evaluación de la función de verosimilitud, entrenan una vez una red neuronal (un "emulador") para aproximar directamente la función de probabilidad de elección. Una vez entrenado, el emulador proporciona aproximaciones deterministas y rápidas.

A. Arquitectura de la Red Neuronal

El diseño de la red es crucial para respetar las propiedades matemáticas inherentes a los modelos de elección:

1. Invariancia y Equivariancia: Las probabilidades de elección son invariantes a traslaciones de ubicación (sumar una constante a todas las utilidades) y a transformaciones de escala. Además, son equivariantes bajo permutaciones de las alternativas (cambiar el nombre de las opciones solo permuta sus probabilidades).
2. Preprocesamiento: Se aplica una transformación para centrar las utilidades (restar la media) y escalar la matriz de covarianza (normalizar por la traza). Esto reduce el espacio de entrada y fuerza la invariancia de ubicación y escala antes de que los datos entren a la red.
3. Codificador por Alternativa (DeepSet): Utiliza una arquitectura basada en DeepSet (Zaheer et al., 2017). Para cada alternativa $j$, la red procesa:
   • Características diagonales: Relaciones entre la alternativa $j$ y cada otra $k$ (utilidades, varianzas, covarianzas).
   • Características fuera de la diagonal: Estructura de covarianza entre las otras alternativas ($k, l \neq j$).
   • Esto permite capturar la estructura de correlación de manera eficiente.
4. Capas Equivariantes: Las representaciones de cada alternativa se procesan a través de capas lineales equivariantes que permiten el intercambio de información entre alternativas, garantizando que la salida respete la permutación.
5. Salida: Una capa final genera logits que se pasan por una función softmax para obtener probabilidades que suman uno.

B. Entrenamiento: Sobolev Training

Para asegurar que el emulador no solo aprenda las probabilidades, sino también sus derivadas (necesarias para la estimación por máxima verosimilitud y métodos bayesianos como HMC), los autores utilizan entrenamiento Sobolev:

• La función de pérdida combina la pérdida de entropía cruzada (probabilidades) con una penalización por la coincidencia de gradientes.
• Se utilizan direcciones aleatorias para calcular derivadas direccionales, evitando el cálculo costoso de matrices Jacobianas completas.
• Los gradientes objetivo se obtienen mediante diferenciación automática a través de una relajación suave (softmax con temperatura) de la simulación de elecciones.

3. Contribuciones Clave

1. Arquitectura Específica y Teórica: Se presenta una arquitectura diseñada específicamente para modelos de utilidad aleatoria (RUM) que incorpora invariancia y equivariancia por diseño.
2. Fundamentos Teóricos (Aproximación Universal): Se demuestra que la arquitectura puede aproximar universalmente las funciones de probabilidad de elección en subconjuntos compactos del espacio de parámetros (excepto en un conjunto de medida cero). Esto se basa en la teoría de separación de órbitas bajo acciones de grupos, extendiendo resultados recientes de Blum-Smith et al. (2025).
3. Propiedades Estadísticas de los Estimadores:
   • Se prueba que los estimadores de máxima verosimilitud basados en el emulador son consistentes y asintóticamente normales si el error de aproximación del emulador decae suficientemente rápido ($o_p(n^{-1})$).
   • Incluso si la aproximación no es perfecta, se demuestra que se pueden obtener inferencias válidas utilizando errores estándar tipo "sandwich" (quasi-maximum likelihood), tratando al emulador como un modelo de trabajo.
4. Generalidad: El enfoque es agnóstico a la distribución de error específica. Aunque se enfoca en MNP, puede aplicarse a distribuciones correlacionadas de Gumbel o t-multivariada con cambios mínimos en la generación de datos de entrenamiento.

4. Resultados de la Simulación

Los autores comparan su método (Emulador) con el simulador GHK (el estándar de oro para MNP) en diversos escenarios ($K=3, 5, 10$ alternativas y tamaños de muestra $n=1,000$ a $100,000$).

• Precisión Estadística: El emulador logra un rendimiento estadístico (RMSE, sesgo, tasas de cobertura de intervalos de confianza) comparable o superior al simulador GHK con un número alto de tiradas (ej. GHK con 250 o 500 tiradas).
• Velocidad Computacional:
  • El emulador es significativamente más rápido. Para $K=10$ y $n=100,000$, el emulador tarda ~165 segundos, mientras que GHK con 250 tiradas tarda ~404 segundos.
  • A medida que aumenta la complejidad (más alternativas), la ventaja del emulador se amplía, ya que GHK sufre de la maldición de la dimensionalidad, mientras que la evaluación de la red neuronal es altamente paralelizable (GPU).
• Entrenamiento Multi-K: Se demostró que un solo emulador puede entrenarse simultáneamente para diferentes números de alternativas ($K \in \{3, 4, 5\}$), manteniendo alta precisión en todos los casos, lo que aumenta su utilidad práctica.

5. Significado e Impacto

Este trabajo representa un avance significativo en la econometría aplicada y la ciencia de datos:

• Resolución del Trade-off Flexibilidad-Interpretabilidad: Permite estimar modelos con estructuras de sustitución complejas y correlacionadas (como MNP) con la misma facilidad computacional que los modelos logit simples, manteniendo la interpretabilidad económica de los parámetros (elasticidades, disposición a pagar).
• Escalabilidad: Hace viable la estimación de modelos de elección discreta con muchas alternativas y estructuras de error complejas, algo que antes era prohibitivo debido al costo computacional de la simulación.
• Infraestructura para Futuras Investigaciones: Proporciona un marco general ("amortized inference") que puede extenderse a otros modelos con funciones de verosimilitud intratables (ej. elección discreta dinámica, búsqueda del consumidor), facilitando la adopción de modelos más realistas en la práctica.

En resumen, los autores han logrado "amortizar" el costo computacional de la inferencia en modelos de elección complejos, moviendo la carga de cálculo a una fase de entrenamiento única y permitiendo inferencias rápidas y precisas en tiempo real.