🤖 machine learning

ASD-Bench: A Four-Axis Comprehensive Benchmark of AI Models for Autism Spectrum Disorder

Este artigo apresenta o ASD-Bench, uma avaliação abrangente de quatro eixos que avalia diversos modelos de aprendizado de máquina e modelos fundamentais em um conjunto de dados curado de 4.068 registros do AQ-10 distribuídos entre três coortes etárias, a fim de revelar padrões diagnósticos específicos por idade, as limitações das avaliações baseadas em métricas únicas e a necessidade de estratégias de implementação adaptadas às coortes na triagem automatizada do Transtorno do Espectro Autista.

Autores originais: Shubhankit Singh, Hassan Shaikh, Kuldeep Raghuwanshi, Keshav Bulia

Publicado 2026-05-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shubhankit Singh, Hassan Shaikh, Kuldeep Raghuwanshi, Keshav Bulia

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando construir um "detector de metais" para encontrar um tipo específico de tesouro escondido (Transtorno do Espectro Autista, ou TEA) em uma multidão de pessoas. Por muito tempo, pesquisadores construíram esses detectores, mas os testaram principalmente de três maneiras que não contam a história completa:

Eles testaram apenas um tipo de detector por vez.
Eles verificaram apenas se o detector encontrou o tesouro, não se ele estava certo de que o encontrou, ou se quebraria se o chão tremesse.
Eles testaram-no principalmente em adultos, ignorando crianças e adolescentes que podem esconder o tesouro de maneira diferente.

Este artigo, ASD-Bench, é como um "Torneio de Homens Duros" massivo e organizado para 17 detectores de IA diferentes. Os pesquisadores queriam ver qual era o melhor em detectar TEA usando uma simples lista de verificação de 10 perguntas (chamada AQ-10), mas fizeram isso de uma maneira muito mais inteligente.

Aqui está a explicação do torneio deles, de forma simples:

1. As Três Equipes (Grupos de Idade)

Os pesquisadores não testaram todos juntos. Eles dividiram a multidão em três equipes distintas, percebendo que uma criança, um adolescente e um adulto podem "esconder" seus traços de maneira diferente:

As Crianças (1–11 anos): O grupo mais fácil de identificar.
Os Adolescentes (12–16 anos): O grupo mais difícil. Eles são como "camaleões" que aprenderam a se misturar, tornando o tesouro mais difícil de encontrar.
Os Adultos (17–64 anos): Surpreendentemente fáceis de identificar, mas apenas porque o conjunto de dados era pequeno e os padrões eram muito claros.

2. As Quatro Regras do Jogo (A Avaliação de "Quatro Eixos")

Em vez de apenas contar quantos tesouros os detectores encontraram (Precisão), os juízes usaram quatro planilhas de pontuação diferentes:

Pontuação 1: A Taxa de Acerto (Desempenho): Ele encontrou o tesouro? (Precisão padrão).
Pontuação 2: A Verificação de Confiança (Calibração): Se o detector diz "90% de certeza", ele realmente tem 90% de certeza? Alguns detectores eram ótimos em encontrar tesouros, mas terríveis em saber o quão certos estavam (como uma pessoa que acerta o palpite, mas acha que é um gênio).
Pontuação 3: O Fator "Porquê" (Interpretabilidade): O detector pode explicar qual pergunta na lista de verificação fez ele decidir? (ex: "Eu disse 'Sim' porque a criança odeia conversas sociais superficiais").
Pontuação 4: O Teste de Tremor (Robustez): Se você acidentalmente rabiscar algumas respostas ou os dados ficarem um pouco ruidosos, o detector ainda funciona, ou ele entra em pânico e dá uma resposta errada?

3. A Nova Planilha: "O HAP"

Os pesquisadores inventaram um novo sistema de pontuação chamado HAP (Penalidade Agregada Heurística).

A Analogia: Imagine a sala de espera de um médico.
- Falso Positivo: O detector diz que uma criança saudável tem TEA. A criança faz um segundo exame. É chato, mas não é um desastre.
- Falso Negativo: O detector diz que uma criança com TEA é saudável. A criança perde a ajuda. Isso é uma tragédia.
A Regra HAP: A pontuação HAP trata a perda de um caso real (Falso Negativo) como 5 vezes pior do que um alarme falso. Ela também pune detectores que são "mal-humorados" (inconsistentes). Se um detector é ótimo na segunda-feira, mas terrível na terça-feira, o HAP dá uma nota ruim a ele.

4. Os Resultados do Torneio

Aqui está o que aconteceu quando eles executaram os 17 modelos de IA diferentes contra os três grupos de idade:

Os Adultos: Foi uma goleada. 10 dos 17 modelos obtiveram pontuação perfeita. No entanto, os pesquisadores alertam que isso pode ser porque o grupo de adultos era pequeno e os dados eram fáceis demais, como um teste com todas as respostas no verso da página.
As Crianças: Os modelos se saíram muito bem. A pista mais importante para as crianças foi A9: "Eu gosto de conversas sociais superficiais?". Crianças com TEA geralmente odeiam isso, e a IA notou isso imediatamente.
Os Adolescentes: Esta foi a batalha contra o chefe. Os modelos lutaram mais aqui. A pista "conversas sociais superficiais" parou de funcionar. Em vez disso, os modelos começaram a olhar para A5: "Eu noto padrões nas coisas o tempo todo?". Isso sugere que, à medida que as crianças crescem, elas aprendem a esconder suas dificuldades sociais (mascaramento), mas sua obsessão por padrões permanece visível.
A Armadilha da "Confiança": Um modelo, AdaBoost, obteve uma pontuação perfeita para encontrar adultos, mas estava excessivamente confiante e errado sobre o quão certo ele estava. O artigo diz: "Não confie em um modelo que é confiante, mas errado".

5. Os Vencedores (Quem você deve usar?)

O artigo não diz "Use este para sempre". Em vez disso, diz "Use a ferramenta certa para o trabalho certo":

Para Adultos (em um quarto perfeito e silencioso): Um modelo complexo chamado TabTransformer funciona melhor.
Para Adultos (em um quarto barulhento e bagunçado): Um modelo mais simples chamado MLP é mais estável.
Para Crianças: Um modelo chamado XGBoost é o campeão.
Para Adolescentes: Um "Modelo de Fundação" chamado TabPFN é o melhor em encontrar o tesouro, embora seja um pouco frágil. Se você precisar que ele seja resistente ao ruído, use TabNet em vez disso.

6. O Grande Aviso (A "Letra Miúda")

Os autores têm muito cuidado em dizer: "Isso é uma prova de conceito, não uma ferramenta de diagnóstico médico."

Os Dados: Eles usaram um conjunto de dados onde as pessoas preencheram um questionário em um aplicativo. Não foi um médico confirmando o diagnóstico.
O Limite: Como os dados vieram de um aplicativo específico e de um momento específico, não sabemos se esses modelos funcionariam em um hospital real em um país diferente.
A Conclusão: Este artigo é um mapa mostrando-nos como construir detectores melhores e o que medir, mas os próprios detectores ainda não estão prontos para substituir um médico.

Em resumo: Os pesquisadores construíram uma academia rigorosa para modelos de IA testarem sua força, equilíbrio e honestidade. Eles descobriram que crianças, adolescentes e adultos são quebra-cabeças diferentes, e a melhor IA para um grupo pode ser a pior para outro. Eles também provaram que ser "preciso" não é suficiente; uma IA médica também deve ser honesta sobre sua confiança e forte o suficiente para lidar com dados do mundo real bagunçados.

Resumo Técnico: ASD-Bench

Declaração do Problema

Ferramentas de triagem automatizada para Transtorno do Espectro Autista (TEA) atualmente sofrem com três limitações críticas:

Avaliação de Eixo Único: Estudos anteriores frequentemente dependem de métricas isoladas (por exemplo, precisão ou F1) e comparações de arquitetura única, negligenciando calibração, interpretabilidade e robustez.
Abordagens Cegas à Idade: A maioria das pesquisas foca exclusivamente em coortes de adultos ou crianças, obscurecendo padrões diagnósticos específicos por idade. Adolescentes, em particular, permanecem pouco estudados, apesar de exibirem hierarquias de características distintas e maior dificuldade de classificação.
Desalinhamento Clínico: Benchmarks existentes frequentemente falham em contabilizar os custos assimétricos de erros clínicos (onde Falsos Negativos são significativamente mais custosos que Falsos Positivos) e carecem de métricas de estabilidade necessárias para implantação em múltiplos sites.

Metodologia

Os autores introduzem o ASD-Bench, um benchmark tabular sistemático que avalia 17 configurações de modelo em quatro eixos distintos.

Conjunto de Dados (v3)

O benchmark utiliza um conjunto de dados curado de 4.068 registros derivados de duas fontes: o Repositório de Aprendizado de Máquina UCI (v1) e um conjunto de dados suplementar da Universidade do Arkansas (v2). Após deduplicação e controle de qualidade, os dados são estratificados em três coortes de idade:

Crianças (1–11 anos): 2.514 registros.
Adolescentes (12–16 anos): 818 registros.
Adultos (17–64 anos): 736 registros.
O conjunto de dados consiste em características binárias derivadas do questionário AQ-10 (Quociente do Espectro Autista de 10 itens) e variáveis demográficas.

Modelos Avaliados

O estudo avalia quatro categorias de modelos, cada um testado em configurações de base e com ajuste de hiperparâmetros (via GridSearchCV):

Ensembles Clássicos: Regressão Logística, Random Forest, AdaBoost, XGBoost.
Redes Neurais: Perceptron de Múltiplas Camadas (MLP).
Arquiteturas Tabulares Profundas: TabNet, TabTransformer, FT-Transformer (todos utilizando Dropout de Monte Carlo para estimativa de incerteza).
Modelo de Fundação: TabPFN v2 (uma rede ajustada a dados prévios que realiza aprendizado em contexto sem ajuste fino baseado em gradiente).

Framework de Avaliação de Quatro Eixos

Desempenho Preditivo: Métricas padrão (Precisão, Acurácia, Revocação, F1, AUC-ROC).
Calibração/Incerteza: Erro de Calibração Esperado (ECE), Pontuação Brier e entropia.
Interpretabilidade: Importância de características via SHAP (Explicadores de Árvore/Profundo/Gradiente), importância por permutação e máscaras incorporadas.
Robustez Adversarial: Desempenho sob Inversão de Características (10–30%), Ruído Gaussiano ( $\sigma \in \{0.1, 0.2, 0.3\}$ ) e Remoção de Características (top-k).

A Métrica HAP

Os autores introduzem a Penalidade Agregada Heurística (HAP), uma métrica sensível a custos projetada para implantação clínica. Ela incorpora:

Penalidades Assimétricas: Uma razão de pesos de $w_{FN}:w_{FP} = 10:2$ (5:1), refletindo o maior custo clínico de perder um diagnóstico.
Penalidade de Estabilidade: Um termo de variância explícito ( $\lambda \cdot \text{Var}(C_k)$ ) derivado de um critério de sinal-ruído, penalizando modelos com desempenho inconsistente entre as dobras de validação cruzada.

Resultados Chave

Desempenho Preditivo

Adultos: A tarefa é altamente separável; 10 de 17 modelos alcançaram pontuações F1 e AUC perfeitas.
Crianças: As pontuações F1 variaram de 0,864 a 0,915. TabTransformer (Ajustado) alcançou o maior F1 (0,915), enquanto TabPFN v2 alcançou o maior AUC (0,963).
Adolescentes: Esta coorte apresentou a tarefa mais difícil, com um teto de F1 de 0,837 (vs. 0,915 para crianças). TabPFN v2 liderou esta coorte com um F1 de 0,837 e AUC de 0,900.

Calibração e Robustez

Dissociação de Métricas: Alta acurácia não garante calibração. Por exemplo, AdaBoost alcançou F1 = 1,000 em adultos, mas sofreu má calibração severa (ECE = 0,302).
Compromisso entre Robustez e Acurácia: Modelos baseados em Transformer (TabTransformer, FT-Transformer) alcançaram F1 perfeito em adultos, mas mostraram degradação significativa (~24%) sob ruído gaussiano. Por outro lado, modelos baseados em árvores (Random Forest, XGBoost) demonstraram maior robustez.
Robustez em Adolescentes: Paradoxalmente, os modelos foram mais robustos na coorte de adolescentes (por exemplo, TabNet Baseline R = 0,980) apesar da menor acurácia absoluta, sugerindo fronteiras de decisão mais suaves sob perturbação.

Hierarquias de Características

A importância das características mudou significativamente entre as coortes, apoiando a necessidade de modelos específicos por idade:

Crianças: Dominadas por A9 (Motivação social/conversa fiada), que ocupou o primeiro lugar em 11 dos 17 modelos.
Adolescentes: Ocorreu uma mudança completa de hierarquia; A5 (Reconhecimento de padrões) tornou-se a característica dominante, enquanto A9 caiu para o 8º lugar.
Adultos: Exibiram um perfil de importância plano, sem uma única característica dominante, consistente com o mascaramento social desenvolvimental.

Significado e Alegações

O artigo posiciona o ASD-Bench como um framework de prova de conceito em vez de uma ferramenta de diagnóstico validada clinicamente. Suas principais contribuições são:

Benchmarking Sistemático: É o primeiro estudo a unificar modelos clássicos, tabulares profundos e de fundação para triagem de TEA em três coortes de idade distintas.
Inovação em Métricas Clínicas: A introdução do HAP fornece um método principiado para avaliar modelos com base na assimetria de custos clínicos e estabilidade de implantação, indo além da simples acurácia.
Insights Específicos por Coorte: As descobertas demonstram que um modelo "tamanho único" é desaconselhável. As hierarquias de características distintas (social vs. cognitivo-perceptual) e os níveis de dificuldade variáveis (adolescentes sendo mais difíceis) necessitam de estratégias de implantação personalizadas.
Recomendações de Implantação: Os autores fornecem recomendações específicas de modelo com base no cartão de pontuação de quatro eixos (por exemplo, TabTransformer para ambientes controlados de adultos, TabPFN para adolescentes priorizando acurácia e TabNet para robustez).

Limitações Reconhecidas pelos Autores:

O conjunto de dados depende de pontuações AQ-10 auto-relatadas, não de diagnósticos confirmados por clínicos.
O tamanho da coorte de adultos (n=148 após deduplicação) é pequeno, potencialmente inflando as métricas de desempenho.
Nenhuma validação externa ou em múltiplos sites foi realizada; os resultados são pontuações de benchmark interno.
A comparação entre modelos ajustados e TabPFN é inerentemente assimétrica devido à falta de ajuste fino para o modelo de fundação.

Os autores concluem que, embora os resultados sejam promissores para o desenvolvimento algorítmico, eles representam desempenho de benchmark interno e não devem ser interpretados como evidência de prontidão clínica diagnóstica no mundo real sem validação prospectiva em múltiplos sites.