A Bayesian latent class reinforcement learning framework to capture adaptive, feedback-driven travel behaviour

Resumo Técnico: Uma Estrutura de Aprendizagem por Reforço de Classe Latente Bayesiana

Definição do Problema
A pesquisa tradicional de comportamento de viagem depende fortemente de Modelos de Escolha Discreta (DCMs) que tratam as preferências como construtos fixos. No entanto, as decisões de viagem no mundo real frequentemente envolvem uma aprendizagem adaptativa onde os indivíduos revisam expectativas com base no feedback (ex: atrasos, novas rotas). Embora os modelos de Aprendizagem por Reforço (RL) da psicologia matemática capturem eficazmente essa aprendizagem dinâmica impulsionada pelo feedback, as aplicações existentes no transporte frequentemente assumem uma distribuição única e contínua de parâmetros de aprendizagem (ex: modelos bayesianos hierárquicos com priors unimodais). Essa abordagem falha em capturar tipos de aprendizagem distintos e discretos dentro de uma população (ex: exploradores persistentes versus exploradores de exploração rápida/exploiters). A média entre comportamentos tão divergentes pode levar a inferências enganosas e intervenções políticas mal direcionadas. Além disso, as pesquisas de viagem convencionais geralmente carecem dos dados longitudinais necessários para capturar o feedback experimentado necessário para modelar a aprendizagem dinâmica.

Metodologia
O artigo propõe uma estrutura de Aprendizagem por Reforço de Classe Latente (LCRL) que integra Modelos de Escolha de Classe Latente (LCCMs) com dinâmicas de Aprendizagem por Reforço específicas de cada classe. O modelo é estimado usando Inferência Variacional (VB) dentro de um framework totalmente bayesiano para lidar com espaços de parâmetros de alta dimensão e variáveis latentes.

1. Núcleo de Aprendizagem por Reforço: O modelo utiliza a regra de aprendizagem de Rescorla-Wagner.
   • Erro de Predição: As expectativas ($Q$) para uma alternativa são atualizadas tentativa a tentativa com base na diferença entre o resultado real ($r$) e a expectativa prévia, escalonada por uma taxa de aprendizagem ($\alpha$).
   • Regra de Escolha: As expectativas atualizadas alimentam um framework de Maximização de Utilidade Aleatória (RUM) (Logit Multinomial), onde a utilidade depende do resultado esperado e de um parâmetro de sensibilidade ($\beta$) que governa o equilíbrio entre exploração e explotação (exploration-exploitation).
2. Integração de Classe Latente: O modelo assume que a população consiste em $K$ classes latentes discretas.
   • Pertencimento à Classe: A probabilidade de um indivíduo pertencer a uma classe é modelada via uma função logit multinomial de atributos sociodemográficos e contextuais.
   • Dinâmicas Específicas de Classe: Cada classe $k$ possui seu próprio conjunto de parâmetros de RL: taxas de aprendizagem ($\alpha_k$), sensibilidades de exploração-explotação ($\beta_k$), parâmetros de viés ($\gamma_{ik}$) e expectativas iniciais ($Q_{i,0,k}$).
3. Estimação: Devido à intratabilidade da distribuição posterior, os autores empregam Inferência Variacional. Eles aproximam a verdadeira posterior com uma distribuição tratável usando uma suposição de campo médio (mean-field) e otimizam o Limite Inferior de Evidência (ELBO) via gradiente estocástico (otimizador Adam).

Principais Contribuições

• Estrutura Inovadora: Esta é a primeira aplicação que modela conjuntamente a heterogeneidade comportamental discreta e a aprendizagem por reforço dinâmica usando uma abordagem variacional totalmente bayesiana. Ela faz a ponte entre modelos de escolha econométricos e a psicologia matemática.
• Tratamento da Heterogeneidade: Ao contrário dos modelos de RL hierárquicos padrão que assumem variação contínua em torno de um processo comum, o LCRL identifica explicitamente tipos de aprendizagem distintos (multimodalidade), evitando a média de comportamentos divergentes.
• Estimação Escalável: O uso de Inferência Variacional permite a estimação escalável de modelos dinâmicos complexos com alta dimensionalidade, fornecendo distribuições posteriores completas sobre os parâmetros.
• Adaptação Contextual: O modelo é adaptado para lidar com ambientes de dados mistos (simulador de direção vs. preferência declarada), permitindo parâmetros de sensibilidade e viés específicos de classe que mudam entre contextos experimentais.

Resultados
O modelo foi aplicado a um conjunto de dados de 83 participantes completando 20 tarefas de escolha de rota (10 em um simulador de direção, 10 em uma pesquisa de preferência declarada) envolvendo a escolha entre uma rota confiável (fixa em 5 min) e uma rota não confiável (variável de 2 a 7 min).

• Ajuste do Modelo: Um modelo LCRL de três classes foi selecionado com base no Critério de Informação Bayesiano (BIC), superando significativamente um modelo de referência de classe única em termos de Log-Likelihood, AIC e BIC.
• Classes Identificadas:
  1. Classe 1 (Exploiters Dependentes de Contexto, ~22%): Principalmente participantes que iniciaram com tarefas de Preferência Declarada (SP). Eles exibem preferências fortemente dependentes do contexto: exploram a rota confiável em cenários hipotéticos de SP, mas mudam para a exploração da rota não confiável no simulador de direção físico (DS). São aprendizes lentos (baixo $\alpha$).
  2. Classe 2 (Exploiters Persistentes, ~49%): Dominada por homens com menor renda que iniciaram com tarefas de DS. Eles exibem uma preferência forte e persistente pela rota não confiável em ambos os contextos. São aprendizes moderados e exibem altas tendências de explotação (significativo $\beta$).
  3. Classe 3 (Exploradores Dependentes de Contexto, ~29%): Mais propensos a serem mulheres e de alta renda. Eles mostram preferência pela rota confiável em tarefas de DS, mas revertem isso em cenários de SP. Exibem as maiores tendências de exploração (baixo $\beta$) e as maiores taxas de aprendizagem, embora suas expectativas evoluam gradualmente.
• Insights Comportamentais: Os resultados destacam que os indivíduos diferem não apenas em preferências estáticas, mas em como aprendem (taxas de aprendizagem), como atualizam expectativas e como equilibram exploração versus explotação. O modelo captura com sucesso a discrepância entre escolhas declaradas e experiências, atribuindo-a a mudanças dependentes de contexto no viés e na dinâmica de aprendizagem.

Significância e Alegações
O artigo alega que a estrutura LCRL proporciona uma caracterização mais rica do comportamento de viagem ao capturar tanto a aprendizagem baseada na experiência quanto formas discretas de heterogeneidade.

• Teórica: Oferece uma compreensão mais abrangente de como as preferências de decisão evoluem dinamicamente ao longo do tempo, abordando uma lacuna onde os modelos tradicionais negligenciam os mecanismos de emergência da preferência inicial.
• Prática: Os achados sugerem que as intervenções políticas (ex: estratégias de informação) devem ser adaptadas a tipos de aprendizagem específicos, pois estratégias que beneficiam exploradores podem prejudicar exploradores de explotação (exploiters).
• Metodológica: A integração de modelos de escolha econométricos com RL e inferência bayesiana é apresentada como uma tecnologia de modelagem emergente. Os autores sugerem seu potencial relevância para:
  • Veículos Autônomos (AVs): Projetar algoritmos de roteamento que antecipem a aprendizagem humana e a formação de expectativas em sistemas de autonomia mista.
  • Mobilidade como Serviço (MaaS): Identificar segmentos propensos a explorar novos modos e entender como incentivos aceleram a adoção.
  • Planejamento de Transportes: Antecipar respostas comportamentais a interrupções na rede (ex: fechamentos, falta de confiabilidade) e avaliar como diferentes grupos aprendem a usar nova infraestrutura.

Os autores mantêm um tom modesto quanto a aplicações futuras, observando que, embora o foco empírico seja a escolha de rota humana, a estrutura oferece uma ferramenta para desenhar estratégias de informação que reconheçam o comportamento adaptativo em vez de assumir preferências estáticas. Eles também sugerem que trabalhos futuros poderiam explorar a heterogeneidade dentro da classe, permitindo que os parâmetros de RL sejam específicos de cada indivíduo.