💬 NLP

From Word Sequences to Behavioral Sequences: Adapting Modeling and Evaluation Paradigms for Longitudinal NLP

Este artigo propõe um paradigma de modelagem e avaliação longitudinal para PLN que trata documentos como sequências comportamentais ordenadas no tempo em vez de amostras independentes, demonstrando, por meio de um estudo de diário de TEPT, que esta abordagem produz insights ecologicamente válidos frequentemente perdidos ou invertidos pelos métodos tradicionais de nível de documento.

Autores originais: Adithya V Ganesan, Vasudha Varadarajan, Oscar NE Kjell, Whitney R Ringwald, Scott Feltman, Benjamin J Luft, Roman Kotov, Ryan L Boyd, H Andrew Schwartz

Publicado 2026-06-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Adithya V Ganesan, Vasudha Varadarajan, Oscar NE Kjell, Whitney R Ringwald, Scott Feltman, Benjamin J Luft, Roman Kotov, Ryan L Boyd, H Andrew Schwartz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando aprender a prever o tempo.

O Jeito Antigo (NLP Tradicional)
A maioria dos programas de computador que analisam linguagem (NLP) tratam cada frase ou entrada de diário como um relatório meteorológico separado e isolado. Eles podem pegar 1.000 relatórios aleatórios de 1.000 dias diferentes, misturá-los e dizer: "Ok, aqui estão nossos dados de treinamento e aqui estão nossos dados de teste".

O artigo argumenta que isso é como tentar aprender sobre o clima olhando para um único registro de uma nuvem e, depois, testar a si mesmo em um registro completamente diferente de uma tempestade totalmente distinta, sem nunca perceber que eles pertenciam ao mesmo sistema de tempestade. Assume-se que cada pedaço de texto é independente, como o lançamento de uma moeda.

O Jeito Novo (NLP Longitudinal)
Os autores dizem: "Espere um pouco. Essas palavras foram escritas por pessoas, e as pessoas mudam ao longo do tempo. A escrita de uma pessoa na segunda-feira está conectada à sua escrita na terça-feira, e o estilo de escrita é único de cada um".

Eles propõem tratar a linguagem não como um amontoado de palavras aleatórias, mas como um filme da vida de uma pessoa, onde cada quadro (entrada de diário) depende do anterior.

Aqui está a decomposição de suas descobertas usando analogias simples:

1. O Problema do "Balde Furado" (Divisões de Avaliação)

Do jeito antigo, se você treinar um computador com 70% das entradas de diário de uma pessoa e testá-lo nas outras 30%, o computador está trapaceando. É como dar a um aluno um teste prático que inclui as respostas do exame real porque ele está estudando as notas da mesma pessoa.

A Correção do Artigo: Eles sugerem duas novas formas de testar o computador:
- O Teste do "Estranho" (Seccional/Cross-Sectional): Treine na Pessoa A, B e C. Teste na Pessoa D (alguém que o computador nunca viu). Ele consegue adivinhar os sentimentos da Pessoa D apenas lendo suas palavras?
- O Teste do "Futuro" (Prospectivo): Treine no primeiro mês da Pessoa A. Teste no próximo mês da Pessoa A. Ele consegue prever o que acontece a seguir?

O Resultado Chocante: Quando usaram o antigo método de "embaralhamento aleatório", o computador parecia um gênio. Mas quando usaram os novos testes do "Estranho" e do "Futuro", o computador frequentemente falhava miseravelmente. Em alguns casos, o método antigo fazia o computador parecer melhor do que um palpite simples, enquanto o novo método mostrava que ele era, na verdade, pior do que um palpite simples. O método antigo estava mentindo sobre o quão inteligente o computador realmente era.

2. O Problema da "Média vs. O Fluxo" (Métricas)

O artigo diz que as pontuações padrão (como "Precisão Média") são como julgar um filme olhando apenas para o brilho médio de cada quadro. Você perde a história.

Pontuação Entre-Pessoas (Between-Person): O computador aprendeu que a Pessoa A é geralmente rabugenta e a Pessoa B é geralmente feliz? (Isso é fácil; ele apenas memoriza quem é quem).
Pontuação Dentro da Pessoa (Within-Person): O computador aprendeu que a Pessoa A ficou mais rabugenta na terça-feira do que estava na segunda-feira? (Isso é difícil; requer entender o fluxo do tempo).

O Resultado Chocante: O computador foi ótimo em memorizar quem era rabugento (Entre-Pessoas), mas terrível em prever quando eles ficariam rabugentos (Dentro da Pessoa). O antigo "Score Médio" escondeu essa falha, fazendo parecer que o computador entendia todo o quadro quando ele só entendia as partes estáticas.

3. O Problema da "Memória" (Modelagem)

Se você quer prever o tempo, olhar para o céu agora não é suficiente; você precisa saber se tem chovido na última hora.

O Jeito Antigo: O computador olha para uma entrada de diário de forma isolada, como uma única foto.
O Jeito Novo: O computador olha para as últimas 30 entradas de diário como uma sequência, como um vídeo.

O Resultado Chocante: Quando o computador teve permissão para "assistir ao vídeo" (olhar o histórico), ele ficou muito melhor em prever o futuro, especialmente para pessoas que ele nunca tinha visto antes. No entanto, o tipo de memória que ele precisava dependia do teste:

Para prever uma nova pessoa, ele precisava de um "resumo" do passado dela (uma visão grosseira e regularizada).
Para prever o futuro para a mesma pessoa, ele precisava ver as interações detalhadas e as mudanças ao longo do tempo (uma visão complexa e interativa).

A Grande Conclusão

O artigo conclui que precisamos parar de tratar a linguagem apenas como uma sequência de palavras e começar a tratá-la como uma sequência de comportamentos humanos.

Se você quer construir uma IA que funcione no mundo real (onde ela encontra novas pessoas e prevê eventos futuros), você não pode apenas embaralhar os dados aleatoriamente. Você tem que:

Testá-la em novas pessoas e tempos futuros, não apenas em pedaços aleatórios embaralhados.
Relatar duas pontuações: Uma para "Quem é esta pessoa?" e outra para "O que está acontecendo com ela agora?".
Dar ao computador uma memória, para que ele possa ver a história, não apenas o instantâneo.

Ao fazer isso, paramos de construir modelos que são bons em fazer uma prova e começamos a construir modelos que realmente entendem o comportamento humano.

Resumo Técnico: De Sequências de Palavras para Sequências Comportamentais

Declaração do Problema

Os paradigmas tradicionais de avaliação de Processamento de Linguagem Natural (PLN) tipicamente tratam documentos como amostras independentes e não ordenadas. No entanto, em estudos longitudinais e em muitas aplicações do mundo real (ex: monitoramento de saúde mental, IA personalizada, RLHF), os dados são gerados por um conjunto finito de indivíduos ao longo do tempo. Essa estrutura viola a suposição de independência, criando dois problemas críticos:

Vazamento de Dados (Data Leakage): Divisões aleatórias de documentos frequentemente vazam sinais específicos da pessoa (estilo, níveis de base) e a ordem temporal (treinar com dados do futuro para prever o passado) entre os conjuntos de treinamento e teste.
Conflito de Métricas (Metric Conflation): Métricas de acurácia "achatadas" padrão agrupam todos os documentos, obscurecendo se um modelo aprende diferenças estáveis entre pessoas (quem tem níveis mais altos/baixos) ou mudanças dinâmicas dentro da pessoa (flutuações dia a dia).

Os autores argumentam que confiar nessas suposições tradicionais pode levar a modelos que parecem eficazes em benchmarks padrão, mas falham em implantações ecologicamente válidas, por vezes gerando conclusões que são qualitativamente diferentes ou até opostas à realidade.

Metodologia

O artigo propõe um paradigma de modelagem e avaliação longitudinal que atualiza quatro componentes do pipeline de PLN:

1. Divisões de Avaliação (Evaluation Splits)

Em vez de divisões aleatórias de documentos, os autores definem três alvos de generalização distintos:

Transversal (Cross-sectional): Generalização para pessoas não vistas (indivíduos retidos).
Prospectiva (Prospective): Generalização para o futuro para as mesmas pessoas (dias futuros retidos).
Transversal e Prospectiva: Generalização para pessoas não vistas no futuro.

2. Decomposição de Métricas

Para desmembrar o que um modelo aprende, os autores propõem reportar métricas separadamente para:

Entre Pessoas (Between-Person): Avaliando o desempenho em médias agregadas por pessoa (ex: comparar a pontuação média prevista de uma pessoa com sua ponta média real).
Dentro da Pessoa (Within-Person): Avaliando o desempenho em desvios diários para cada indivíduo, e então calculando a média entre as pessoas.
Essa separação evita que modelos que meramente memorizam linhas de base estáveis mascarem sua incapacidade de capturar dinâmicas temporais.

3. Entradas de Modelagem

O estudo muda o tratamento de documentos como instâncias isoladas para sequências comportamentais. Os modelos são testados com variações de comprimentos de histórico ( $h$ ), incorporando representações de linguagem de dias anteriores como entrada para capturar o contexto temporal.

4. Internos do Modelo (Granularidade de Estado)

Os autores comparam três abordagens para mapear o histórico de linguagem em um estado preditivo:

Bag of Embeddings (BoE): Um resumo agrupado e grosseiro (média das representações).
Autorregressivo (AR): Parametrização explícita de dinâmicas defasadas.
Transformer: Modelagem de interações dependentes de conteúdo ao longo dos dias.

Conjunto de Dados

A metodologia é avaliada no dataset PTSD-STOP, composto por 17.051 transcrições de diários diários de 238 participantes ao longo de até 90 dias. A tarefa consiste em prever a gravidade dos sintomas de PTSD diários (escores PCL) a partir da linguagem do mesmo dia (nowcasting) ou prever a gravidade do dia seguinte a partir da linguagem do dia anterior (forecasting).

Resultados Principais

1. A Avaliação Tradicional é Enganosa

Usando um modelo RoBERTa-large padrão com divisões de documentos aleatórias, o modelo pareceu superar um baseline (MAE 0,520 vs. 0,660). No entanto, sob uma divisão transversal (pessoas não vistas), o modelo subperformou o baseline (MAE 0,757 vs. 0,619), revertendo a conclusão. Sob uma divisão prospectiva, o modelo superou o baseline, mas com uma magnitude de erro significativamente diferente do que a divisão aleatória sugeria.

2. Métricas Achatadas Escondem Modos de Falha

A decomposição das métricas revelou que o alto desempenho agrupado era frequentemente impulsionado pelo sinal entre pessoas (capturando quem possui sintomas mais elevados) em vez de dinâmicas dentro da pessoa (capturando flutuações diárias). Por exemplo, na divisão prospectiva, a correlação entre pessoas foi quase perfeita ( $r=0,962$ ), enquanto a correlação dentro da pessoa foi modesta ( $r=0,297$ ), mas a correlação agrupada mascarou essa disparidade ( $r=0,655$ ).

3. A Dimensionalidade da Representação Depende do Alvo

Generalização Transversal (novas pessoas) obteve melhor desempenho com representações de baixa dimensão (64–128 dims).
Generalização Prospectiva (novo tempo) beneficiou-se de representações de alta dimensão (~512 dims).
Isso sugere que generalizar para novas pessoas requer mais regularização para evitar o overfitting ao estilo específico do autor, enquanto o forecasting temporal requer representações mais ricas para capturar dinâmicas temporais complexas.

4. Modelagem de Sequência e Viés Indutivo

Comprimento do Histórico: Incorporar históricos mais longos geralmente melhorou o desempenho, particularmente para divisões transversais.
Viés Indutivo: A arquitetura de modelo ideal dependeu do regime de avaliação:
- Transversal: Modelos Autorregressivos (AR) tiveram o melhor desempenho.
- Prospectivo: Transformers (modelando interações) geraram os maiores ganhos.
- Transversal & Prospectivo: Resumos agrupados simples (BoE) tiveram o melhor desempenho, sugerindo que, sob as restrições de generalização mais rigorosas, a modelagem de interações complexas pode sofrer overfitting.

Significância e Alegações

O artigo afirma ser o primeiro a demonstrar sistematicamente em PLN que divisões aleatórias centradas em documentos e métricas achatadas podem gerar conclusões qualitativamente diferentes e, às vezes, reversas em relação à avaliação alinhada ao alvo.

Os autores defendem uma mudança de paradigma de "avaliação de sequência de palavras" para "paradigmas de sequência comportamental". Eles sustentam que:

O design da avaliação não é meramente um detalhe de implementação, mas determina as alegações científicas que um artigo pode sustentar.
Modelos devem ser avaliados explicitamente sobre se generalizam para novas pessoas, novo tempo, ou ambos.
Reportar métricas decompostas entre/dentro de pessoas é essencial para diagnosticar se um modelo captura linhas de base estáveis ou verdadeiras dinâmicas comportamentais.
Datasets longitudais de PLN devem preservar o indexamento de pessoas e a ordenação temporal para permitir essas avaliações; remover essa estrutura torna os dados inadequados para alegações ecologicamente válidas.

O estudo conclui que, embora os métodos tradicionais possam otimizar pontuações em leaderboards, eles frequentemente falham em refletir a utilidade no mundo real em aplicações centradas no ser humano, onde a unidade de análise é a pessoa, não o documento.