Resumo Técnico: TRACE – Um Conjunto de Dados Sintéticos Fundamentado em Taxonomia para Análise Aplicada do Comportamento

Declaração do Problema

A Análise Aplicada do Comportamento (ABA) é o tratamento baseado em evidências dominante para o transtorno do espectro autista, gerando grandes volumes de documentação clínica formulaica, incluindo programas de ensino e registros comportamentais de múltiplas sessões. No entanto, o desenvolvimento de modelos de linguagem (MLs) capazes de redigir esses documentos é severamente restringido pelo acesso a dados. Dados de sessões do mundo real são protegidos por regulamentações HIPAA e regras de confidencialidade profissional, impedindo a liberação de corpora de treinamento. Divulgações desidentificadas frequentemente falham em preservar o detalhe clínico granular necessário para um treinamento eficaz do modelo. Além disso, embora trabalhos anteriores tenham explorado a IA na ABA, soluções existentes dependem de conjuntos de dados proprietários não divulgados ou falham em abordar a tarefa complexa de interpretação comportamental de múltiplas sessões. O campo também enfrenta preocupações éticas relacionadas a alucinações em ambientes clínicos e à falta de ferramentas validadas para entrega de serviços assistida por IA.

Metodologia

Os autores apresentam o TRACE (Exemplos Clínicos de ABA Referenciados por Taxonomia), um conjunto de dados sintético de ajuste por instrução gerado por meio de um pipeline determinístico e orientado por taxonomia.

1. Taxonomia e Fundamentação Clínica

O núcleo da metodologia é um vocabulário controlado codificado em arquivos YAML, organizado por área clínica. Cada elemento neste vocabulário é fundamentado em literatura canônica de ABA e códigos éticos, incluindo:

• Livros didáticos: Cooper et al. (2020) para definições operacionais e métodos de ensino.
• Análise Funcional: Iwata et al. (1994) e Hanley et al. (2003) para funções do comportamento.
• Currículos: VB-MAPP e AFLS para alvos de habilidades e estados de domínio.
• Ética: Código de Ética da BACB e Declarações de Posição da ABAI para planejamento de crises.

A taxonomia cobre duas tarefas principais:

• Geração de Programas de Ensino: Abrangendo Treinamento de Tentativas Discretas (DTT), Ensino no Ambiente Natural (NET) e Análise de Tarefas.
• Interpretação de Sessões: Cobrindo 12 padrões de trajetória e 13 comportamentos-alvo em registros de múltiplas sessões.

2. Loop de Geração Determinística

O processo de geração do conjunto de dados é totalmente determinístico, impulsionado por um arquivo de configuração e uma semente aleatória. Para cada exemplo, o sistema:

1. Amostra uma configuração clinicamente válida da taxonomia, ponderada pela frequência clínica.
2. Aplica Regras de Compatibilidade: Rejeita combinações inconsistentes (por exemplo, garantindo que correções de erro sem erros pareiem apenas com hierarquias de prompts específicas).
3. Calcula Slots: Preenche slots de modelo com base nas células amostradas.
4. Renderiza Mensagens: Gera mensagens de usuário e assistente em um formato de tripla de chat.
5. Carimba Proveniência: Registra as células exatas da taxonomia e a semente usadas para gerar o exemplo em um campo meta.provenance.

Esta abordagem permite "refinabilidade na camada de taxonomia". Se uma imprecisão for sinalizada, a célula de taxonomia responsável pode ser editada, e todo o corpus pode ser regenerado deterministicamente para atualizar todos os exemplos afetados sem reescrita manual por exemplo.

3. Estrutura e Composição dos Dados

O TRACE consiste em 2.999 exemplos formatados como arquivos JSONL. Cada exemplo inclui:

• Tripla de Chat: Prompt do sistema, prompt de tarefa do usuário e resposta estruturada do assistente.
• Bloco Meta: Contém rótulos-ouro (derivados deterministicamente da taxonomia), ID do exemplo (hash SHA-256) e proveniência completa de amostragem.

O conjunto de dados é estratificado em quatro divisões:

• Treino: 2.549 exemplos (85,0%)
• Validação: 149 exemplos (5,0%)
• Teste: 281 exemplos (9,4%)
• Sanidade: 20 exemplos (0,7%)

O corpus abrange quatro perfis de aprendizes (Aprendiz Inicial, Idade Escolar, Adolescente, Adulto) e garante diversidade em métodos de ensino, alvos de habilidades e trajetórias comportamentais. Notavelmente, o conjunto de dados inclui formas de medição específicas do comportamento (por exemplo, duração para birras, registro de intervalo parcial para estereotipia) em vez de contagens de frequência genéricas.

Resultados Principais e Validação

O artigo relata a construção e validação técnica do conjunto de dados, em vez do desempenho de um modelo específico treinado nele.

• Integridade do Esquema: Todos os 2.999 exemplos são analisados corretamente como JSON com metadados completos.
• Integridade da Proveniência: 100% dos exemplos possuem campos de proveniência preenchidos, vinculando cada saída a células e fontes específicas da taxonomia.
• Unicidade: Todos os IDs de exemplo são únicos dentro e entre as divisões.
• Estratificação: As divisões estão equilibradas entre métodos de ensino e padrões de interpretação, com o conjunto de teste retendo um pool de curadoria representativo.
• Determinismo: A reexecução do pipeline de geração com a mesma semente produz corpora idênticos, garantindo reprodutibilidade.
• Revisão Clínica: A taxonomia e a lógica de geração foram revisadas contra fontes publicadas. O artigo observa que, para validação com múltiplos revisores, métricas específicas (kappa de Cohen ponderado quadraticamente e coeficiente de correlação de Matthews) são recomendadas, embora o artigo apresente o conjunto de dados como um artefato de pesquisa aguardando tal validação clínica.

Significado e Alegações

Os autores posicionam o TRACE como um artefato de pesquisa, afirmando explicitamente que não foi validado clinicamente e não é uma ferramenta clínica. Seu significado reside em:

1. Superando a Lacuna de Dados: Fornece o primeiro corpus sintético de ABA que cobre tanto a geração de programas de ensino quanto a interpretação de múltiplas sessões, abordando a barreira dos dados do mundo real protegidos pelo HIPAA.
2. Auditabilidade e Refinabilidade: Diferentemente de conjuntos de dados sintéticos típicos, o design determinístico e fundamentado em taxonomia do TRACE permite correção sistemática. Erros podem ser rastreados até células de origem específicas, permitindo reparos direcionados que se propagam por todo o conjunto de dados.
3. Pipeline Agnóstico ao Domínio: Embora a taxonomia seja específica da ABA, o código do gerador e os modelos são agnósticos ao domínio, oferecendo um modelo para geração de dados sintéticos em outras disciplinas clínicas com convenções estruturadas.
4. Estrutura Ética e de Segurança: A geração do conjunto de dados incorpora restrições éticas (por exemplo, evitar procedimentos específicos de contenção em planos de crise) e inclui verificações de "sanidade" para prevenir a liberação de dados clinicamente inválidos.

O artigo conclui que o TRACE serve como uma linha de base para futuros modelos de linguagem específicos de ABA, uma ferramenta para pesquisar a geração de dados sintéticos orientada por taxonomia e um recurso para ajuste fino supervisionado de modelos de linguagem pequenos, desde que qualquer aplicação clínica permaneça sob a responsabilidade do usuário e da instituição.