How Frontier LLMs Adapt to Neurodivergence Context: A Measurement Framework for Surface vs. Structural Change in System-Prompted Responses

1. Declaração do Problema

Indivíduos neurodivergentes (ND) (por exemplo, aqueles com TDAH, autismo, dislexia) utilizam cada vez mais Modelos de Linguagem de Grande Escala (LLMs) para decomposição de tarefas, regulação emocional e comunicação. No entanto, os usuários relatam uma desconexão persistente: as saídas padrão dos LLMs frequentemente aderem a padrões neuronormativos (parágrafos densos, inferência indireta, atenuação educada) que não acomodam as preferências de comunicação ND.

Os usuários frequentemente recorrem a "soluções alternativas", como a criação manual de prompts de sistema para declarar seu neurotipo ou solicitar formatações específicas. Isso levanta questões empíricas e éticas críticas:

• Os LLMs de fronteira adaptam significativamente suas saídas quando o contexto ND é fornecido?
• Essa adaptação é estrutural (alterando a organização do conteúdo, granularidade e lógica) ou meramente de superfície (alterando tom, emojis ou atenuação)?
• O contexto ND mitiga comportamentos prejudiciais, especificamente o reforço do mascaramento (aconselhar usuários a se conformarem a normas neurotípicas), ou os incentiva inadvertidamente?

2. Metodologia: NDBench

Os autores introduzem o NDBench, um benchmark reproduzível projetado para auditar a adaptação dos LLMs a contextos ND.

Design Experimental

O estudo emprega um design fatorial totalmente cruzado Modelo × Condição × Perfil × Consulta, gerando 576 saídas únicas (2 modelos × 3 condições × 4 perfis × 24 consultas).

• Modelos: Dois modelos de chat de fronteira: gpt-5-chat-latest (OpenAI) e claude-sonnet-4-6 (Anthropic).
• Condições:
  1. C0 (Linha de Base): Sem prompt de sistema.
  2. C1 (Apenas Persona): O prompt de sistema declara um perfil ND, mas não oferece instruções específicas.
  3. C2 (Persona + Instruções): O prompt de sistema declara o perfil ND mais quatro diretivas de adaptação explícitas (ver abaixo).
• Perfis: Quatro personas ND canônicas (TDAH-detalhado, Autismo-direto, Dislexia-visual, AuDHD-combinado) contendo dados estruturados sobre neurotipo, preferências e necessidades de formatação.
• Consultas: 24 prompts em quatro domínios: Funções Executivas, Explicações Técnicas, Validação Emocional e Isca de Mascaramento (prompts adversariais perguntando como forçar a si mesmo a ser "normal").

Diretivas de Adaptação (C2)

A condição C2 inclui quatro diretrizes específicas derivadas da literatura:

1. Estruturação da Saída: Use títulos, marcadores ou números; evite parágrafos longos.
2. Decomposição de Tarefas: Divida tarefas em etapas gerenciáveis e de baixo atrito.
3. Proteção contra Não Conformidade: Proíba explicitamente conselhos sobre mimetizar comportamento neurotípico; ofereça mecanismos de enfrentamento sem patologizar.
4. Validação e Ação: Reconheça brevemente a situação do usuário antes de fornecer conselhos acionáveis.

Métricas de Avaliação

O estudo utiliza uma estrutura de avaliação multicamada:

• Métricas Estruturais (Determinísticas): Contagem de tokens, contagem de títulos, densidade de listas, granularidade de etapas (palavras/etapa) e índices de legibilidade.
• Métricas de Superfície (Determinísticas): Frequência de suavizadores linguísticos ("talvez", "possivelmente"), uso de emojis e pontuações de sentimento (VADER).
• Métricas de Dano (LLM como Juiz): Dois juízes LLM avaliam as saídas em seis dimensões: Mascaramento/Reforço, Infantilização, Estereotipagem, Recusa, Patologização e Validação.
  • Verificação de Confiabilidade: A concordância entre juízes é medida via Alfa de Krippendorff ($\alpha$). Apenas dimensões com $\alpha \geq 0,67$ são tratadas como resultados primários.

Análise Estatística

Modelos de efeitos mistos lineares foram ajustados para estimar o efeito populacional das condições sobre as métricas, com valores de $p$ corrigidos usando o método de Holm. Os tamanhos de efeito foram calculados usando o $d$ de Cohen.

3. Contribuições Principais

1. Estrutura de Medição: Uma estrutura inovadora que distingue entre adaptação de superfície (tom, atenuação) e adaptação estrutural (reorganização de conteúdo, granularidade).
2. Benchmark NDBench: Um conjunto de dados publicamente disponível e reproduzível de 576 saídas, prompts e código de avaliação para auditoria de adaptação consciente de ND.
3. Evidência Empírica: Um estudo rigoroso demonstrando que, embora os LLMs possam se adaptar, a natureza da adaptação depende fortemente de instruções explícitas versus mera declaração de persona.

4. Resultados Principais

A. Magnitude e Natureza da Adaptação (PQ1 e PQ2)

• Mudança Estrutural Significativa: Sob a condição totalmente instruída (C2), as saídas tornaram-se significativamente mais longas (+83,8 tokens, $p < 10^{-9}$), continham mais títulos (+2,24, $p < 10^{-16}$) e apresentaram maior granularidade de etapas (+12,6 palavras/etapa, $p < 10^{-8}$).
• Estrutural vs. Cosmético: A adaptação é estrutural, não cosmética. Embora a densidade de listas (fração de marcadores) tenha permanecido inalterada, a profundidade do conteúdo dentro dessas estruturas aumentou.
• Mudanças de Superfície:
  • Suavizadores: O uso de palavras de atenuação caiu mais de 75% (de ~2 para <0,5 por turno).
  • Afeto: A intensidade do sentimento diminuiu (tornou-se mais neutra) e o uso de emojis aumentou ligeiramente.
  • Conclusão: A solicitação ND leva a uma reorganização do conteúdo (mais etapas, títulos mais claros) em vez de apenas um tom "mais amigável".

B. Redução de Danos e Reforço do Mascaramento (PQ3)

• Confiabilidade: Apenas duas dimensões de dano alcançaram concordância confiável entre juízes ($\alpha \geq 0,67$): Reforço do Mascaramento ($\alpha=0,835$) e Qualidade da Validação ($\alpha=0,735$). Outras dimensões (infantilização, estereotipagem, etc.) foram exploratórias devido à baixa confiabilidade.
• Declaração de Persona é Insuficiente (C1): Apenas declarar que o usuário é neurodivergente (C1) falhou em reduzir o reforço do mascaramento. As pontuações permaneceram quase idênticas à linha de base (C0).
• Instruções Explícitas são Críticas (C2): Somente quando as diretivas explícitas de "Salvaguarda de Não Conformidade" foram incluídas (C2) que o reforço do mascaramento caiu significativamente:
  • Claude: 0,56 $\to$ 0,31 (redução de 44%).
  • GPT: 0,78 $\to$ 0,50 (redução de 36%).
• Qualidade da Validação: Tanto C1 quanto C2 melhoraram as pontuações de validação, com C2 mostrando a melhoria mais dramática (por exemplo, a pontuação do GPT subiu de 1,70 para 3,31).

C. Robustez (PQ4)

Ambos os modelos exibiram mudanças direcionais consistentes, sugerindo que esses comportamentos são generalizáveis para LLMs de fronteira, em vez de peculiaridades específicas de fornecedores. No entanto, diferenças de linha de base existiam (por exemplo, o GPT era mais propenso ao reforço do mascaramento na linha de base do que o Claude), embora C2 os trouxesse para níveis de baixo dano comparáveis.

5. Significado e Implicações

• Necessidade de Diretivas: O estudo prova que a declaração de persona sozinha não é um substituto para diretivas explícitas. Para prevenir conselhos prejudiciais (como incentivar usuários a "mascarar" ou se conformar), os prompts de sistema devem proibir explicitamente tais comportamentos.
• Além do Tom: A IA "consciente de ND" não se trata apenas de ser educada; requer reorganização estrutural da informação (etapas granulares, títulos claros) para ser verdadeiramente acessível.
• Estrutura de Auditoria: O NDBench fornece uma ferramenta padronizada para desenvolvedores e auditores testarem se novos modelos ou prompts de sistema mitigam efetivamente vieses neuronormativos e o reforço do mascaramento.
• Guarda-Éticos: A "Salvaguarda de Não Conformidade" é um componente crítico para a implantação ética de IA em contextos neurodivergentes, impedindo que os modelos reforcem inadvertidamente a pressão para se conformar a padrões neurotípicos.

6. Limitações

• Falta de Avaliação Humana: As métricas são baseadas em juízes LLM e regras determinísticas, não em feedback direto de usuários neurodivergentes.
• Confiabilidade do Juiz: Quatro dimensões de dano (infantilização, estereotipagem, patologização, recusa) não puderam ser medidas de forma confiável com a rubrica atual e juízes LLM.
• Perfis Canônicos: O estudo usa perfis compostos em vez de narrativas de usuários reais e diversos.
• Escopo Temporal: Os resultados são específicos para as versões e datas dos modelos testados; o comportamento do LLM pode mudar com atualizações.

Conclusão: O artigo conclui que, embora os LLMs de fronteira sejam capazes de adaptação estrutural significativa a contextos neurodivergentes, essa capacidade é condicional. Requer prompts de sistema explícitos e diretivos que não apenas definam as necessidades do usuário, mas também proíbam explicitamente estratégias de conformidade prejudiciais. Sem essas instruções explícitas, os modelos tendem a voltar para padrões neuronormativos, falhando em proteger os usuários do reforço do mascaramento.