How Frontier LLMs Adapt to Neurodivergence Context: A Measurement Framework for Surface vs. Structural Change in System-Prompted Responses

Aquí se presenta un resumen técnico detallado del artículo "Cómo los LLM de vanguardia se adaptan al contexto de la neurodivergencia: Un marco de medición para el cambio superficial frente al estructural en las respuestas con indicaciones de sistema".

1. Declaración del Problema

Las personas neurodivergentes (ND) (por ejemplo, aquellas con TDAH, autismo, dislexia) utilizan cada vez más los Modelos de Lenguaje Grande (LLM) para la descomposición de tareas, la regulación emocional y la comunicación. Sin embargo, los usuarios reportan una desconexión persistente: las salidas predeterminadas de los LLM a menudo se adhieren a patrones neuronormativos (párrafos densos, inferencia indirecta, matices de cortesía) que no acomodan las preferencias de comunicación ND.

Los usuarios recurren frecuentemente a "soluciones alternativas", como la creación manual de indicaciones de sistema para declarar su neurotipo o solicitar formatos específicos. Esto plantea preguntas empíricas y éticas críticas:

• ¿Adaptan significativamente los LLM de vanguardia sus salidas cuando se proporciona un contexto ND?
• ¿Es esta adaptación estructural (cambio en la organización del contenido, granularidad y lógica) o meramente superficial (cambio de tono, emojis o matices)?
• ¿Mitiga el contexto ND comportamientos dañinos, específicamente el refuerzo del enmascaramiento (aconsajar a los usuarios que se ajusten a normas neurotípicas), o los fomenta inadvertidamente?

2. Metodología: NDBench

Los autores introducen NDBench, un punto de referencia reproducible diseñado para auditar la adaptación de los LLM a contextos ND.

Diseño Experimental

El estudio emplea un diseño factorial completamente cruzado Modelo × Condición × Perfil × Consulta, generando 576 salidas únicas (2 modelos × 3 condiciones × 4 perfiles × 24 consultas).

• Modelos: Dos modelos de chat de vanguardia: gpt-5-chat-latest (OpenAI) y claude-sonnet-4-6 (Anthropic).
• Condiciones:
  1. C0 (Línea base): Sin indicación de sistema.
  2. C1 (Solo Persona): La indicación de sistema declara un perfil ND pero no ofrece instrucciones específicas.
  3. C2 (Persona + Instrucciones): La indicación de sistema declara el perfil ND más cuatro directivas de adaptación explícitas (ver abajo).
• Perfiles: Cuatro personajes ND canónicos (TDAH-detallado, Autismo-directo, Dislexia-visual, AuTDAH-combinado) que contienen datos estructurados sobre neurotipo, preferencias y necesidades de formato.
• Consultas: 24 prompts en cuatro dominios: Funciones Ejecutivas, Explicaciones Técnicas, Validación Emocional y Cebo de Enmascaramiento (prompts adversarios que preguntan cómo forzarse a ser "normal").

Directivas de Adaptación (C2)

La condición C2 incluye cuatro pautas específicas derivadas de la literatura:

1. Estructuración de la Salida: Usar encabezados, viñetas o números; evitar párrafos largos.
2. Descomposición de Tareas: Dividir tareas en pasos manejables y de baja fricción.
3. Protección contra la No Conformidad: Prohibir explícitamente consejos sobre la imitación de comportamientos neurotípicos; ofrecer mecanismos de afrontamiento sin patologizar.
4. Validación y Acción: Reconocer brevemente la situación del usuario antes de proporcionar consejos accionables.

Métricas de Evaluación

El estudio utiliza un marco de evaluación multinivel:

• Métricas Estructurales (Deterministas): Recuento de tokens, recuento de encabezados, densidad de listas, granularidad de pasos (palabras/paso) e índices de legibilidad.
• Métricas Superficiales (Deterministas): Frecuencia de suavizadores lingüísticos ("quizás", "tal vez"), uso de emojis y puntuaciones de sentimiento (VADER).
• Métricas de Daño (LLM como Juez): Dos jueces LLM evalúan las salidas en seis dimensiones: Enmascaramiento/Refuerzo, Infantilización, Estereotipado, Rechazo, Patologización y Validación.
  • Verificación de Fiabilidad: El acuerdo entre jueces se mide mediante el Alfa de Krippendorff ($\alpha$). Solo las dimensiones con $\alpha \geq 0.67$ se tratan como resultados principales.

Análisis Estadístico

Se ajustaron modelos de efectos mixtos lineales para estimar el efecto poblacional de las condiciones sobre las métricas, con valores $p$ corregidos mediante el método Holm. Se calcularon tamaños de efecto utilizando la $d$ de Cohen.

3. Contribuciones Clave

1. Marco de Medición: Un marco novedoso que distingue entre adaptación superficial (tono, matices) y adaptación estructural (reorganización del contenido, granularidad).
2. Punto de Referencia NDBench: Un conjunto de datos público y reproducible de 576 salidas, prompts y código de evaluación para auditar la adaptación consciente de la ND.
3. Evidencia Empírica: Un estudio riguroso que demuestra que, aunque los LLM pueden adaptarse, la naturaleza de la adaptación depende en gran medida de la instrucción explícita frente a la mera declaración de persona.

4. Resultados Clave

A. Magnitud y Naturaleza de la Adaptación (RQ1 & RQ2)

• Cambio Estructural Significativo: Bajo la condición totalmente instruida (C2), las salidas se volvieron significativamente más largas (+83.8 tokens, $p < 10^{-9}$), contuvieron más encabezados (+2.24, $p < 10^{-16}$) y tuvieron una mayor granularidad de pasos (+12.6 palabras/paso, $p < 10^{-8}$).
• Estructural vs. Cosmético: La adaptación es estructural, no cosmética. Aunque la densidad de listas (fracción de viñetas) permaneció sin cambios, la profundidad del contenido dentro de esas estructuras aumentó.
• Cambios Superficiales:
  • Suavizadores: El uso de palabras de matiz disminuyó en más del 75% (de ~2 a <0.5 por turno).
  • Afecto: La intensidad del sentimiento disminuyó (se volvió más neutral) y el uso de emojis aumentó ligeramente.
  • Conclusión: La indicación ND conduce a una reorganización del contenido (más pasos, encabezados más claros) en lugar de simplemente un tono "más amigable".

B. Reducción del Daño y Refuerzo del Enmascaramiento (RQ3)

• Fiabilidad: Solo dos dimensiones de daño lograron un acuerdo fiable entre jueces ($\alpha \geq 0.67$): Refuerzo del Enmascaramiento ($\alpha=0.835$) y Calidad de la Validación ($\alpha=0.735$). Otras dimensiones (infantilización, estereotipado, etc.) fueron exploratorias debido a la baja fiabilidad.
• La Declaración de Persona es Insuficiente (C1): Simplemente declarar que el usuario es neurodivergente (C1) falló en reducir el refuerzo del enmascaramiento. Las puntuaciones permanecieron casi idénticas a la línea base (C0).
• Las Instrucciones Explícitas son Críticas (C2): Solo cuando se incluyeron directivas explícitas de "Salvaguarda contra la No Conformidad" (C2) el refuerzo del enmascaramiento disminuyó significativamente:
  • Claude: 0.56 $\to$ 0.31 (reducción del 44%).
  • GPT: 0.78 $\to$ 0.50 (reducción del 36%).
• Calidad de la Validación: Tanto C1 como C2 mejoraron las puntuaciones de validación, con C2 mostrando la mejora más dramática (por ejemplo, la puntuación de GPT subió de 1.70 a 3.31).

C. Robustez (RQ4)

Ambos modelos exhibieron cambios direccionales consistentes, lo que sugiere que estos comportamientos son generalizables a los LLM de vanguardia en lugar de ser peculiaridades específicas del proveedor. Sin embargo, existían diferencias en la línea base (por ejemplo, GPT era más propenso al refuerzo del enmascaramiento en la línea base que Claude), aunque C2 los llevó a niveles comparables de bajo daño.

5. Significado e Implicaciones

• Necesidad de Directivas: El estudio demuestra que la declaración de persona por sí sola no es un sustituto de las directivas explícitas. Para prevenir consejos dañinos (como instar a los usuarios a "enmascararse" o conformarse), las indicaciones de sistema deben prohibir explícitamente tales comportamientos.
• Más allá del Tono: La IA "consciente de la ND" no se trata solo de ser educado; requiere una reorganización estructural de la información (pasos granulares, encabezados claros) para ser verdaderamente accesible.
• Marco de Auditoría: NDBench proporciona una herramienta estandarizada para desarrolladores y auditores para probar si los nuevos modelos o indicaciones de sistema mitigan eficazmente los sesgos neuronormativos y el refuerzo del enmascaramiento.
• Paradas Éticas: La "Salvaguarda contra la No Conformidad" es un componente crítico para el despliegue ético de la IA en contextos neurodivergentes, evitando que los modelos refuercen inadvertidamente la presión para ajustarse a estándares neurotípicos.

6. Limitaciones

• Falta de Evaluación Humana: Las métricas se basan en jueces LLM y reglas deterministas, no en retroalimentación directa de usuarios neurodivergentes.
• Fiabilidad del Juez: Cuatro dimensiones de daño (infantilización, estereotipado, patologización, rechazo) no pudieron medirse de forma fiable con la rúbrica actual y los jueces LLM.
• Perfiles Canónicos: El estudio utiliza perfiles compuestos en lugar de narrativas diversas de usuarios del mundo real.
• Alcance Temporal: Los resultados son específicos de las versiones de modelos y fechas probadas; el comportamiento de los LLM puede cambiar con las actualizaciones.

Conclusión: El artículo concluye que, aunque los LLM de vanguardia son capaces de una adaptación estructural significativa a contextos neurodivergentes, esta capacidad es condicional. Requiere indicaciones de sistema explícitas y directivas que no solo definan las necesidades del usuario, sino que también prohíban explícitamente estrategias de conformidad dañinas. Sin estas instrucciones explícitas, los modelos tienden a volver a los valores predeterminados neuronormativos, fallando en proteger a los usuarios del refuerzo del enmascaramiento.