Resumen Técnico: Andamiaje Condicionado por Capacidad para la Colaboración Profesional Humano–LLM

1. Declaración del Problema: Deriva de Dominio Profesional (PDD)

Las estrategias actuales de personalización de Modelos de Lenguaje Grande (LLM) se centran principalmente en adaptar las salidas a las preferencias del usuario, el historial de interacción o las características estilísticas. Si bien estos métodos mejoran la fluidez de la interacción, no tienen en cuenta la distribución desigual de la capacidad de evaluación del usuario a través de diferentes dominios de experiencia.

Los autores identifican una limitación crítica en este enfoque: la Deriva de Dominio Profesional (PDD). Este fenómeno ocurre cuando los usuarios, que poseen una autoridad profesional amplia o familiaridad contextual, confían en el razonamiento generado por IA en dominios adyacentes donde carecen de la experiencia sustantiva para validar de manera fiable la salida. En estos escenarios, los sistemas de IA pueden mejorar el rendimiento dentro de dominios familiares, mientras aumentan simultáneamente las tasas de fallo cerca de los límites de la experiencia del usuario. El desafío central no es meramente la generación incorrecta, sino la erosión de la supervisión evaluativa fiable, donde la supervisión humana se vuelve procedimental en lugar de sustantiva porque las tareas de dominio adyacente parecen cognitivamente accesibles a pesar de estar fuera de la competencia evaluativa del usuario.

2. Metodología: Andamiaje Condicionado por Capacidad (CCS)

Para abordar la PDD, el artículo introduce el Andamiaje Condicionado por Capacidad (CCS), un marco arquitectónico tipado que condiciona el comportamiento de intervención del LLM en representaciones estructuradas de la capacidad del usuario, en lugar de las preferencias estilísticas.

Mecanismos Principales

El CCS opera mediante una tubería de cuatro etapas que divide la experiencia en tres categorías operativas:

1. Dominios Fuertes: Áreas donde el usuario posee una capacidad de evaluación fiable. La intervención se minimiza para preservar la eficiencia.
2. Dominios Débiles: Áreas fuera de la experiencia sustantiva del usuario. Se incrementa la intensidad de la intervención y la señalización de transparencia.
3. Dominios Mixtos: Áreas adyacentes o parcialmente familiares donde los usuarios tienen comprensión contextual pero una fiabilidad evaluativa limitada. Esto constituye la zona principal de riesgo de PDD.

El marco emplea tres mecanismos técnicos específicos:

• Perfiles de Capacidad Tipados: En lugar de un personaje de usuario generalizado, el sistema utiliza un perfil dividido por dominios (Fuerte, Mixto, Débil) para definir restricciones operativas.
• Enrutamiento Condicionado por Capacidad: Una matriz de decisión determinista ajusta la intensidad del andamiaje en función de la relación entre el contenido del prompt, la clasificación del dominio y la complejidad del razonamiento inferida.
• Guardarraíles Basados en Consistencia: Estos mecanismos comparan la experiencia declarada contra la evidencia a nivel de prompt para detectar discrepancias. Esto es crucial para los dominios mixtos, donde los prompts pueden contener terminología superficialmente familiar que en realidad requiere capacidades evaluativas fuera de la experiencia fiable del usuario.

A diferencia de las arquitecturas de supervisión externa que dependen de sistemas evaluadores separados, el CCS integra la lógica de intervención directamente dentro del proceso de generación de respuestas mediante prompts estructurados y políticas de enrutamiento.

Diseño de Evaluación Piloto

El estudio realizó una evaluación piloto bajo condiciones controladas de un solo turno para validar el núcleo arquitectónico a nivel de prompt del CCS.

• Conjunto de Datos: 480 pares de pregunta-condición derivados de múltiples subconjuntos de la referencia Massive Multitask Language Understanding (MMLU).
• Condiciones:
  • Línea Base: Sin andamiaje condicionado por capacidad.
  • PCS-NLP: Un perfil orientado a PLN donde los dominios técnicos/computacionales son "Fuertes" y los dominios de humanidades/médicos son "Débiles".
  • PCS-LitProf: Una configuración invertida de perfil donde las humanidades son "Fuertes" y los dominios técnicos son "Débiles".
• Sustratos: La evaluación se replicó en cuatro sustratos de LLM: Claude Sonnet 4.5, Claude Haiku 4.5, GPT-4.1 y gpt-5.5.
• Métricas: El estudio midió el comportamiento de activación de la intervención (si se activó el andamiaje) y la intensidad de disparo, en lugar de la calidad de la decisión aguas abajo o la calibración de la confianza del usuario.

3. Resultados Clave

El estudio piloto demostró un comportamiento de intervención condicionado por el perfil consistente a través de modelos y dominios:

• Inversión Categórica: Cuando se intercambiaron los perfiles de capacidad (por ejemplo, de PCS-NLP a PCS-LitProf), las tasas de activación de la intervención se invirtieron categóricamente.
  • En la condición PCS-NLP, la activación de la intervención en los subconjuntos de ML/CS (Fuerte) fue baja (3.3%), mientras que los subconjuntos de Medicina/Derecho (Débil) mostraron una activación del 100%.
  • En la condición PCS-LitProf, la activación en los subconjuntos de ML/CS aumentó al 100%, mientras que la activación en Humanidades (Fuerte) bajó al 0%.
  • El análisis estadístico (pruebas exactas de Fisher) confirmó una fuerte separación entre las condiciones del perfil ($p < 10^{-13}$).
• Sensibilidad al Dominio Mixto: Dentro de la partición de dominio "Mixto" formalmente idéntica, el comportamiento de intervención varió significativamente en función de la alineación conceptual a nivel de prompt.
  • Psicología Profesional (Mixto) mostró una activación del 73%.
  • Lógica Formal (Mixto) mostró una activación del 13%.
  • Econometría (Mixto) mostró una activación del 3%.
  • Esto indica que el sistema responde a la estructura conceptual específica del prompt en relación con el perfil declarado, no solo a las etiquetas de dominio estáticas.
• Consistencia Transversal de Sustratos: A pesar de variaciones moderadas en la intensidad de activación y el formato a través de los cuatro sustratos de LLM, el patrón de enrutamiento direccional permaneció estable: baja activación en dominios fuertes, alta activación en dominios débiles y activación sensible al contenido en dominios mixtos.

4. Contribuciones y Significado

El artículo hace tres contribuciones principales:

1. Definición del Problema: Introduce formalmente la Deriva de Dominio Profesional (PDD) como un problema de límites de capacidad en la interacción profesional humano–LLM, distinguiéndola de la sobreconfianza general al centrarse en la brecha entre la autoridad profesional y la competencia evaluativa específica.
2. Marco Arquitectónico: Propone el Andamiaje Condicionado por Capacidad (CCS) como un marco tipado para la intervención consciente de la capacidad. Esto cambia el paradigma de la personalización estilística a la gobernanza de la interacción que condiciona el comportamiento del sistema en función de perfiles de experiencia del usuario estructurados.
3. Validación Empírica: Proporciona evidencia piloto de que el comportamiento de intervención puede modularse sistemáticamente mediante perfiles de capacidad estructurados en múltiples sustratos de LLM, demostrando que el andamiaje consciente de la capacidad es factible a nivel de interacción de prompt.

5. Afirmaciones y Limitaciones

Los autores mantienen un alcance modesto con respecto a las implicaciones del estudio:

• Alcance: El estudio es una evaluación piloto del comportamiento arquitectónico a nivel de prompt, no una validación completa de la gobernanza consciente de la capacidad en sistemas profesionales desplegados. No mide la calidad de la decisión aguas abajo, los resultados profesionales del mundo real ni la calibración longitudinal de la confianza.
• Posicionamiento: El CCS no es un reemplazo para la supervisión externa, las tuberías de verificación factual ni los métodos de seguridad orientados a la alineación. No determina la veracidad objetiva, sino que regula cómo cambia el comportamiento de la intervención a través de los límites de capacidad.
• Trabajo Futuro: El artículo señala explícitamente que las extensiones de múltiples turnos (calibración longitudinal, acumulación de evidencia conductual) no fueron evaluadas. Se requiere trabajo futuro para probar estos mecanismos en escenarios de despliegue ecológico (por ejemplo, revisión por pares, razonamiento legal, consulta médica) y para evaluar el impacto en la dependencia del usuario y la calidad de la decisión colaborativa a lo largo del tiempo.

Los hallazgos sugieren que la colaboración profesional humano–IA puede requerir ir más allá de la alineación de preferencias hacia mecanismos que aborden los límites de capacidad, asegurando que la intensidad de la intervención se calibre a donde los usuarios pueden evaluar de manera fiable el razonamiento generado por el modelo.