Optimising supervised machine learning algorithms predicting cigarette cravings and lapses for a smoking cessation just-in-time adaptive intervention (JITAI)

Este estudo conclui que, embora algoritmos de aprendizado de máquina baseados em avaliação momentânea ecológica (EMA) possam prever riscos de recaída no abandono do tabagismo, seu desempenho geral é modesto e variável entre indivíduos, sugerindo que a implementação prática em intervenções adaptativas just-in-time (JITAI) deve combinar essas previsões com abordagens baseadas em regras em vez de depender exclusivamente de modelos complexos.

O essencial

Imagine que você está tentando parar de fumar. É como tentar atravessar um rio cheio de pedras escorregadias (os momentos de vontade de fumar) sem cair na água (o cigarro). O objetivo deste estudo foi criar um "sistema de alerta" inteligente, como um GPS para quem quer parar de fumar, que avise: "Ei, cuidado! A próxima pedra está logo ali!".

Esse sistema usa um aplicativo no celular que faz perguntas rápidas durante o dia (chamadas de "ECM" ou "avaliações momentâneas") para saber como você está se sentindo, onde está e o que está fazendo. Com base nessas respostas, um computador tenta prever se você vai fumar ou sentir uma vontade forte.

Mas aqui está o grande dilema: quanto o aplicativo deve perguntar?

• Se perguntar muito (16 vezes ao dia), o computador pode ter mais dados para ser preciso, mas você vai ficar cansado, irritado e pode até desistir do aplicativo.
• Se perguntar pouco (3 vezes ao dia), você fica feliz e não se cansa, mas o computador pode não ter informações suficientes para fazer uma boa previsão.

Os pesquisadores queriam descobrir o ponto ideal: quantas perguntas são necessárias para o computador ser útil, sem ser chato?

O que eles descobriram? (A Analogia do Detetive)

Pense no computador como um detetive tentando adivinhar se você vai fumar. Eles testaram várias estratégias:

1. A frequência das perguntas (O ritmo do detetive)

• Para prever se você vai fumar (o "lapse"): Surpreendentemente, o detetive funcionou melhor quando fazia menos perguntas! Com apenas 3 perguntas ao dia, ele acertava mais o momento exato do risco do que com 16. É como se, ao fazer menos perguntas, ele se concentrasse apenas no essencial, evitando o "ruído" de informações demais.
• Para prever a vontade de fumar (a "craving"): Aqui, a regra mudou. Para a vontade, o detetive precisava de mais informações. Se ele fazia poucas perguntas, ele perdia o rastro da vontade, que é algo que muda muito rápido.

2. O número de pistas (Quantas variáveis o computador usa)
Eles testaram se o computador precisava de todas as informações (humor, dor, local, amigos, café, etc.) ou apenas das principais.

• Resultado: O computador funcionou quase tão bem com poucas pistas principais quanto com todas. É como se, para prever se você vai fumar, o computador só precisasse saber se você está estressado e se tem cigarro por perto, sem precisar saber se você comeu um biscoito há 2 horas. Isso é ótimo, porque significa que o aplicativo pode ser mais simples e rápido.

3. O "Treinamento Personalizado" (Aprender com você)
Eles testaram se o computador aprendia melhor se usasse dados seus (dos primeiros dias) para treinar, ou se usava dados de todos os participantes misturados.

• Resultado: Para prever se você vai fumar, usar seus dados pessoais ajudou um pouco a acertar mais o momento. Mas, para prever a vontade, usar seus dados pessoais às vezes até atrapalhou. O computador funcionou bem usando o conhecimento geral de "como as pessoas fumam" sem precisar de um treinamento longo e específico para cada pessoa.

O Veredito Final (Em linguagem simples)

O estudo concluiu que:

1. Não é perfeito: O computador não é um oráculo. Ele acerta em alguns momentos e erra em outros. A previsão nunca será 100% garantida.
2. Menos é mais (às vezes): Para prever se você vai fumar, fazer menos perguntas ao dia (cerca de 3 a 5) pode ser melhor do que fazer muitas. Isso torna o aplicativo menos cansativo para o usuário.
3. Simplicidade funciona: O computador não precisa de 50 perguntas diferentes. Com as principais (como humor e vontade), ele já consegue fazer um bom trabalho.
4. O segredo é a mistura: Como o computador não é perfeito sozinho, a melhor estratégia para o futuro não é confiar apenas nele. O ideal é usar o computador como um "auxiliar" que dá dicas, mas combinar isso com regras simples criadas por humanos (ex: "se você estiver com amigos e estressado, mande uma mensagem de apoio").

Resumo da Ópera:
Criar um aplicativo que avise o momento de risco para quem quer parar de fumar é possível, mas não precisa ser um "burocrata" que pergunta tudo o tempo todo. Um sistema mais leve, que faz poucas perguntas e foca no essencial, pode ser a chave para ajudar as pessoas a cruzarem o rio sem cair na água, sem que o aplicativo se torne um fardo no dia a dia.

Resumo técnico

Resumo Técnico: Otimização de Algoritmos de Aprendizado de Máquina Supervisionado para Prever Desejos e Recaídas no Abandono do Tabagismo

1. O Problema

As intervenções adaptativas just-in-time (JITAI) visam fornecer suporte personalizado em momentos de alto risco durante a tentativa de abandono do tabagismo. No entanto, existe um conflito fundamental no design dessas intervenções:

• Precisão vs. Carga do Usuário: Para prever com precisão momentos de alto risco (como recaídas ou desejos intensos), os algoritmos necessitam de dados densos e frequentes (Ecological Momentary Assessment - EMA). Contudo, questionários excessivamente frequentes podem sobrecarregar os participantes, reduzir a adesão e levar ao abandono da intervenção.
• Falta de Diretrizes: Não está claro qual é a frequência mínima de amostragem necessária para prever eficazmente essas crises, quantas variáveis preditoras são essenciais e se algoritmos personalizados (usando dados do próprio usuário para treinamento) superam os modelos de grupo.
• Objetivo do Estudo: O estudo buscou otimizar o equilíbrio entre a carga do participante e o desempenho do algoritmo, variando sistematicamente a frequência dos prompts de EMA, a quantidade de preditores e a fonte dos dados de treinamento para prever recaídas (lapses) e desejos intensos (cravings).

2. Metodologia

• Dados e Amostra: Análise secundária de dados de 37 fumantes (média de idade: 42,97 anos; 62,2% mulheres) durante os primeiros 10 dias de sua tentativa de parar de fumar.
• Coleta de Dados (Protocolo Original): Os participantes completaram 16 EMAs por dia (a cada hora acordada) relatando humor, contexto, comportamento, consumo de cafeína/álcool, desejos e recaídas.
• Algoritmo: Foram utilizados algoritmos de Floresta Aleatória (Random Forest - RF).
  • Resultados Previstos: Duas saídas binárias separadas: (a) Recaída (lapse) e (b) Desejo intenso (craving ≥ 7 numa escala de 0-10).
• Variáveis de Manipulação (Fatores Testados):
  1. Frequência de Prompt: Algoritmos treinados/testados com dados de 16, 6, 5, 4 e 3 prompts por dia (selecionados quasi-aleatoriamente).
  2. Seleção de Características (Feature Selection): Comparação entre o uso de todos os 34 preditores disponíveis vs. um conjunto otimizado selecionado via Recursive Feature Elimination with Cross-Validation (RFE-CV).
  3. Fonte de Dados de Treinamento: Comparação entre modelos puramente de grupo (sem dados do usuário de teste) e modelos híbridos ("warm-start"), onde 10%, 20% ou 30% dos dados iniciais do próprio participante eram incluídos no treinamento.
• Métricas de Desempenho:
  • F1-Score: Média harmônica entre precisão e recall (focada no equilíbrio entre falsos positivos e negativos).
  • ROC-AUC: Capacidade de discriminação geral do modelo.
  • Análise Estatística: Modelos lineares mistos e regressão beta inflada por zeros para lidar com a distribuição dos dados e agrupamento intra-indivíduo.

3. Principais Contribuições

• Sistematização de Trade-offs: É um dos primeiros estudos a examinar sistematicamente como a redução da frequência de EMA e a personalização afetam o desempenho preditivo em JITAIs de cessação do tabagismo.
• Descoberta Contra-intuitiva sobre Frequência: Demonstrou que, para a previsão de recaídas, reduzir a frequência de prompts (menos dados) pode, paradoxalmente, melhorar certas métricas de desempenho (F1-score), desafiando a suposição de que "mais dados são sempre melhores".
• Validação de Abordagens Híbridas: Oferece evidências de que algoritmos híbridos (personalizados) não superam consistentemente os modelos de grupo, o que simplifica a implementação prática (evitando a necessidade de re-treinamento complexo e contínuo no dispositivo do usuário).
• Diferenciação de Resultados: Destaca a distinção crítica entre prever "recaídas" (comportamento binário) e "desejos" (estado psicológico contínuo), que exigem estratégias de modelagem diferentes.

4. Resultados Chave

• Desempenho Geral: O desempenho foi modesto em média, com alta variabilidade entre indivíduos. Muitos modelos ficaram abaixo dos limiares de aceitação para F1-score (< 0,5), embora o ROC-AUC tenha sido geralmente acima do acaso.
• Frequência de Prompt (EMA):
  • Recaídas (Lapses): Reduzir a frequência de prompts melhorou o F1-score (de 0,254 em 16 prompts para 0,588 em 3 prompts). O ROC-AUC mostrou uma leve queda inconsistente, mas não monotônica. Isso sugere que menos dados podem reduzir o ruído ou melhorar a densidade de eventos relativos.
  • Desejos (Cravings): Reduzir a frequência piorou consistentemente tanto o F1-score quanto o ROC-AUC. A previsão de estados emocionais flutuantes parece exigir maior densidade de dados.
• Seleção de Características (Feature Selection):
  • Para recaídas, a redução do número de preditores teve impacto negligenciável no desempenho.
  • Para desejos, a seleção de características reduziu ligeiramente o desempenho.
• Dados Pessoais no Treinamento (Personalização):
  • Recaídas: Incluir dados do próprio usuário (até 30%) melhorou significativamente o F1-score, mas não o ROC-AUC.
  • Desejos: Incluir dados do próprio usuário piorou o desempenho (especialmente o ROC-AUC), sugerindo que a personalização precoce pode introduzir viés ou ruído para este resultado específico.
• Variáveis Preditoras: As variáveis mais consistentemente selecionadas foram desejos, autoeficácia, motivação momentânea e disponibilidade de cigarros. Variáveis contextuais (local, atividade) foram menos relevantes nos modelos reduzidos.

5. Significância e Implicações Práticas

• Viabilidade de Implementação: O estudo sugere que é possível desenvolver JITAIs viáveis para o abandono do tabagismo com uma carga de questionários moderada (3 a 6 prompts/dia), especialmente se o foco for prever recaídas comportamentais em vez de estados emocionais complexos.
• Estratégia de Modelo: Recomenda-se o uso de algoritmos de grupo (não personalizados) para a fase inicial de implementação, pois eles oferecem desempenho discriminativo (ROC-AUC) robusto sem a complexidade computacional e de privacidade do treinamento contínuo no dispositivo.
• Hibridização: Devido à alta variabilidade interindividual e desempenho modesto geral, a implementação ideal deve combinar previsões de aprendizado de máquina com regras baseadas em heurísticas ou decisões clínicas, em vez de depender exclusivamente do algoritmo.
• Limitações e Futuro: O estudo foi limitado aos primeiros 10 dias de abstinência e a uma amostra específica. Futuras pesquisas devem investigar a validade ecológica de variações experimentais na frequência de prompts e a generalização para populações mais diversas e períodos de abstinência mais longos.

Em resumo, o estudo conclui que, embora o aprendizado de máquina baseado em EMA possa capturar sinais de risco significativos, sua aplicação em JITAIs reais exige uma abordagem pragmática, focada em modelos de grupo parsimoniosos para recaídas, com limiares de decisão ajustáveis e expectativas realistas sobre a precisão individual.