Resumo Técnico: DSETA

Declaração do Problema

A previsão do Tempo Estimado de Chegada (ETA) é um pilar fundamental dos sistemas de transporte inteligentes, sendo crítica para o despacho de transporte por aplicativo, planejamento de rotas e precificação dinâmica. No entanto, manter uma alta precisão em cidades grandes e dinâmicas apresenta desafios significativos devido à natureza não estacionária do tráfego. Os modelos de aprendizado profundo existentes, embora eficazes na captura de dependências espaço-temporais, frequentemente permanecem estáticos durante a inferência, levando a um desempenho subótimo quando confrontados com mudanças de distribuição.

Os autores identificam três desafios industriais específicos que os métodos atuais de Aprendizado Contínuo (CL) não conseguem abordar adequadamente:

1. Padrões de Tráfego Dinâmicos Incertos: Os modelos atuais têm dificuldade em prever ETAs sob condições irregulares (ex: acidentes, feriados), que causam desvios rápidos e significativos em relação às normas históricas. Na plataforma da DiDi, tal congestionamento irregular representou aproximadamente 60% das principais falhas de previsão em 2024.
2. Padrões Temporais Multiescala Mistos: As estruturas existentes frequentemente falham em distinguir entre flutuações de curto prazo (eventos transitórios como acidentes) e mudanças de distribuição de longo prazo (tendências sazonais, evolução da rede viária). Tratar esses sinais heterogêneos de forma uniforme obscurece a verdadeira dinâmica do tráfego.
3. Esquecimento Catastrófico: Estratégias de atualização padrão correm o risco de ou falhar em aprender novas distribuições ou sofrer overfitting para dados recentes, fazendo com que o modelo esqueça padrões de tráfego recorrentes e fundamentais essenciais para as operações diárias.

Metodologia: Estrutura DSETA

Para enfrentar esses desafios, os autores propõem o DSETA (Dual-Stage ETA), uma estrutura de atualização incremental que decompõe o aprendizado contínuo em dois estágios complementares: Intradiário (Intra-day) e Interdiário (Inter-day).

1. Arquitetura do Modelo Base

O preditor subjacente baseia-se em uma arquitetura DeepFM, escolhida por sua eficácia na modelagem de correlações espaço-temporais. Ele consiste em:

• Módulo Wide (Largo): Aprende características globais e de nível de rota (ex: ID do motorista, dia da semana, par OD, clima) via projeções de embedding e camadas lineares generalizadas.
• Módulo Deep (Profundo): Modela informações detalhadas ao nível de ligação (ex: ID da via, comprimento, status de congestionamento) usando uma rede totalmente conectada de duas camadas.
• Saída: Um MLP de 3 camadas combina as representações de ambos os módulos para prever o tempo de viagem.

2. Aprendizado Contínuo de Dois Estágios

A inovação central reside na separação do processo de aprendizado por escala temporal:

• Estágio Intradiário (Adaptação de Curto Prazo):

  • Objetivo: Adaptar-se rapidamente a flutuações de tráfego de curto prazo causadas por eventos transitórios (acidentes, feriados).
  • Mecanismo: Utiliza dados de streaming em tempo real coletados em janelas horárias dentro de um único dia.
  • Estratégia de Isolamento de Parâmetros: Para evitar o esquecimento catastrófico de padrões estáveis, os parâmetros do modelo são divididos em um componente congelado ($u$, o módulo Wide) e um componente adaptativo ($v$, o módulo Deep). Apenas o módulo Deep é atualizado usando o lote de dados atual, preservando a estabilidade das características globais enquanto permite sensibilidade às dinâmicas locais em tempo real.

• Estágio Interdiário (Adaptação de Longo Prazo):

  • Objetivo: Capturar mudanças de distribuição de longo prazo, como tendências sazonais e evolução da rede viária.
  • Mecanismo: Ocorre na transição entre os dias, utilizando dados históricos agregados de uma janela de observação curta (ex: 3-5 semanas).
  • Replay de Informação Semanal: Para mitigar o esquecimento, o conjunto de dados de treinamento é construído através do replay de dados do mesmo dia da semana (subconjunto alvo) junto com dados de outros dias (subconjunto genérico). Isso reforça as estruturas temporais persistentes.
  • Destilação de Conhecimento: A função de perda inclui um termo de destilação que penaliza a divergência em relação ao estado do modelo do dia anterior, garantindo uma adaptação suave às mudanças de longo prazo sem perder o conhecimento histórico.

3. Arquitetura do Sistema e Tolerância a Falhas

O sistema é projetado para implantação industrial de alta concorrência (ex: QPS $\ge$ 10k). Ele emprega um Mecanismo de Tolerância a Falhas de Serviço apresentando:

• Buffering de Parâmetros: Parâmetros intermediários são armazenados em um buffer temporário, não afetando o serviço ao vivo.
• Atualizações Atômicas: A troca de modelo ocorre apenas se o desvio de parâmetro estiver dentro de um limite seguro; caso contrário, o sistema reverte para o modelo estável anterior.
• Recuperação por Timeout: Se o treinamento exceder um limite de tempo, o sistema realiza automaticamente o rollback para o último estado conhecido como bom.

Principais Contribuições

1. Estrutura DSETA: Um novo framework de aprendizado contínuo que captura explicitamente tanto padrões de tráfego regulares quanto irregulares, decompondo o aprendizado em estágios interdiários e intradiários.
2. Mecanismo de Atualização de Dois Estágios: Um design específico que distingue mudanças de distribuição de longo prazo (tratadas via atualizações interdiárias com destilação de conhecimento) de variações de curto prazo (tratadas via atualizações intradiárias com dados em tempo real).
3. Módulo de Consolidação de Conhecimento: Uma combinação de Replay de Informação Semanal (para preservar tendências estruturais semanais) e Isolamento de Parâmetros (para proteger características globais estáveis durante atualizações voláteis) para mitigar efetivamente o esquecimento catastrófico.
4. Validação Industrial: Experimentos offline e online extensos em conjuntos de dados reais da plataforma da DiDi, demonstrando robustez em múltiplas cidades e condições de tráfego.

Resultados Experimentais

Os autores avaliaram o DSETA usando conjuntos de dados offline de Pequim e testes A/B online em Pequim, Wuhan e Xi'an.

• Desempenho Offline (Pequim): O DSETA superou os baselines de estado da arte (incluindo WDR, HierETA e iETA) em todas as métricas.

  • MAE: Reduzido para 110,21s (vs. 113,14s para o iETA).
  • Taxa de Casos Ruins (Bad Case Rate): Reduzida para 3,72% (vs. 4,07% para o iETA), indicando melhoria significativa na confiabilidade sob condições desafiadoras.
  • Precisão de 2 Minutos: Alcançou 69,70%.
  • Estudos de Ablação: Confirmaram que a remoção de qualquer um dos estágios (intradiário ou interdiário) ou dos mecanismos de consolidação de conhecimento resultou em degradação mensurável do desempenho, validando a necessidade do design de dois estágios.

• Testes A/B Online: Realizados ao longo de duas semanas (incluindo um período de feriado de 6 dias) em três cidades.

  • Pequim: Redução de MAE de 6,62%.
  • Wuhan: Redução de MAE de 0,73%.
  • Xi'an: Redução de MAE de 2,40%.
  • Experiência do Usuário: O DSETA reduziu consistentemente as taxas de reclamação dos usuários, com as melhorias mais significativas observadas durante feriados, quando os padrões de tráfego são mais irregulares.
  • Eficiência: A estrutura manteve a latência comparável ao grupo de controle baseline mesmo sob altas cargas de consulta (até 6000 QPS), provando a eficácia dos mecanismos de tolerância a falhas.

Significância

O artigo afirma que o DSETA consegue preencher a lacuna entre a pesquisa acadêmica de aprendizado contínuo e os requisitos de implantação industrial. Ao separar explicitamente a volatilidade de curto prazo das mudanças estruturais de longo prazo, a estrutura aborda a limitação crítica de modelos existentes que ou falham em se adaptar a eventos irregulares ou sofrem de esquecimento catastrófico de padrões regulares.

Os autores enfatizam que o DSETA foi implementado com sucesso no ambiente de produção da DiDi, processando centenas de milhões de requisições diárias. Esta implementação valida a capacidade da estrutura de manter alta precisão de previsão e estabilidade do sistema em um cenário real de alto rendimento, aumentando diretamente a experiência do usuário e a eficiência da plataforma em ambientes de tráfego dinâmicos.