Exploring and Testing Skill-Based Behavioral Profile Annotation: Human Operability and LLM Feasibility under Schema-Guided Execution

Título: Exploración y Prueba de la Anotación de Perfiles Conductuales Basada en Habilidades: Operabilidad Humana y Viabilidad de LLM bajo Ejecución Guiada por Esquema

1. El Problema

La anotación de Perfiles Conductuales (BP, por sus siglas en inglés) es una de las formas más exigentes de análisis léxico basado en corpus. A diferencia de tareas de clasificación simples, la anotación BP requiere codificar simultáneamente múltiples dimensiones lingüísticas (léxicas, sintácticas, semánticas, colocacionales y pragmáticas) en una sola línea de concordancia.

• Desafío principal: La complejidad multidimensional hace que la anotación a gran escala sea costosa, difícil de estandarizar y de reproducir.
• Limitación del enfoque actual: La literatura reciente sobre Modelos de Lenguaje Grandes (LLM) ha evaluado la automatización de la anotación a nivel de "tarea global". Sin embargo, tratar la anotación BP como una tarea monolítica oculta la heterogeneidad interna: algunas dimensiones son fáciles de operacionalizar, mientras que otras requieren inferencias complejas. No está claro si la automatización es posible para toda la tarea o solo para sus componentes específicos.

2. Metodología

El estudio propone un cambio de paradigma: entender la anotación BP no como una sola tarea, sino como un conjunto de habilidades de anotación discretas.

• Datos: Se utilizaron 3.134 líneas de concordancia de 30 derivados metafóricos de términos de color en chino (negro, blanco, rojo, amarillo, azul, verde).
• Esquema: Se aplicó un esquema BP de 14 características (habilidades) que abarcan niveles léxicos, sintácticos, semánticos y pragmáticos.
• Enfoque de Ejecución: Se implementó una tubería impulsada por archivos de habilidades (skill-file-driven pipeline). En lugar de depender solo de prompts ad hoc, cada habilidad se define externamente mediante archivos de esquema que especifican etiquetas, reglas de decisión y ejemplos. Estos se inyectan en el modelo mediante plantillas de prompt y configuraciones de ejecución.
• Protocolo Humano: Dos anotadores humanos realizaron un protocolo de dos rondas en un subconjunto de validación de 300 instancias:
  1. Ronda 1: Anotación independiente bajo condiciones de solo esquema (sin calibración adicional).
  2. Ronda 2: Re-anotación enfocada únicamente en las celdas donde hubo desacuerdo en la primera ronda.
  • Objetivo: Distinguir entre dificultades debidas a la carga cognitiva (recuperables) y dificultades estructurales (irrecuperables).
• Evaluación de Modelos: Se evaluó GPT-5.4 (modelo cerrado de vanguardia) y tres modelos de código abierto localmente desplegables (Qwen2.5-7B, GLM-4-9B, Yi-1.5-9B) utilizando la misma tubería guiada por esquema.
• Marco de Evaluación: Se analizó la dificultad compartida y el comportamiento de ejecución en tres niveles:
  1. Nivel de Habilidad (característica).
  2. Nivel de Instancia (línea de concordancia).
  3. Nivel de Ítem Léxico (palabra objetivo).

3. Contribuciones Clave

1. Descomposición en Habilidades: Propone que la viabilidad de la automatización debe medirse a nivel de habilidad individual, no de tarea global.
2. Protocolo de Doble Ronda: Introduce un método para clasificar las habilidades en tres categorías operativas:
   • Directamente operables: Confiabilidad en la primera ronda.
   • Recuperables: Inestables inicialmente pero estables tras re-anotación enfocada.
   • Estructuralmente no especificadas: Inestables incluso tras revisión enfocada.
3. Arquitectura Ejecutable: Demuestra un sistema de anotación donde el esquema, las reglas y los ejemplos están externalizados y auditables, permitiendo una ejecución reproducible tanto para humanos como para LLMs.
4. Nueva Interpretación del Rol del LLM: Postula que el LLM no debe verse como un sustituto humano directo, sino como una "tercera voz de habilidad" independiente dentro del flujo de trabajo.

4. Resultados Principales

• Heterogeneidad de Habilidades: La anotación BP es empíricamente heterogénea. De las 14 habilidades:
  • 5 son directamente operables.
  • 4 son recuperables tras re-anotación enfocada.
  • 5 permanecen estructuralmente no especificadas bajo condiciones de solo esquema.
• Rendimiento de GPT-5.4:
  • En las habilidades retenidas (10 habilidades), GPT-5.4 alcanzó una precisión de 0.678, un Kappa de 0.665 y un F1 ponderado de 0.695.
  • La viabilidad es selectiva, no global. GPT funciona bien en un subconjunto de habilidades pero falla en otras.
• Patrones de Dificultad (Hallazgo Crítico):
  • Nivel de Habilidad: Existe una fuerte alineación entre la dificultad humana y la de GPT (r = 0.881). Ambos encuentran las mismas habilidades globalmente difíciles o fáciles.
  • Nivel de Instancia y Léxico: La correlación colapsa casi a cero en instancias (r = 0.016) y ítems léxicos (r = -0.142).
  • Conclusión: Se establece el patrón "Taxonomía compartida, ejecución independiente". Humanos y LLMs comparten la estructura de dificultad del esquema, pero cometen errores diferentes en casos específicos.
• Modelos de Código Abierto: Sus fallos no fueron uniformes, sino que se concentraron en problemas de ejecución de esquema a habilidad (mapeo incorrecto de etiquetas, salidas fuera de esquema), especialmente en características como la función sintáctica (F4). Esto sugiere una falta de cumplimiento de restricciones más que una incapacidad lingüística total.
• Acuerdo Pareado: GPT-5.4 no iguala el acuerdo humano-humano (Kappa ~0.78), pero supera significativamente a los modelos de código abierto y ocupa una posición distinta, actuando como una fuente de evidencia no redundante.

5. Significado e Implicaciones

• Cambio Metodológico: La automatización de la anotación no es una propiedad binaria de una tarea ("sí/no"), sino una propiedad condicional de las unidades de habilidad bajo condiciones de ejecución guiadas por esquema.
• Flujo de Trabajo Semiautomático: Se propone un flujo de trabajo basado en habilidades:
  1. Pilotar las habilidades para diagnosticar su operabilidad.
  2. Filtrar y retener solo las habilidades operables o recuperables.
  3. Desplegar LLMs únicamente en ese subconjunto filtrado.
  4. Integrar al LLM como una "tercera voz" para la construcción de oro (gold standard) y la resolución de disputas, no como un reemplazo total.
• Diseño de Esquemas: La dificultad de anotación es, en gran medida, una propiedad de la definición de la tarea misma. Un esquema que no es ejecutable para humanos bajo carga cognitiva probablemente no será fiable para un LLM sin revisiones estructurales.
• Valor del LLM: El valor principal de los LLMs en la anotación lingüística no es la paridad humana, sino su capacidad para aportar evidencia de anotación no redundante dentro de un flujo de trabajo controlado por habilidades, complementando la intuición humana en tareas donde ambos comparten la misma topología de dificultad pero ejecutan de manera independiente.

En resumen, el artículo demuestra que la anotación asistida por LLM es viable y útil, pero solo si se abandona la visión monolítica de la tarea y se adopta un enfoque granular, basado en habilidades, que reconozca las limitaciones estructurales del esquema y la naturaleza complementaria (no sustitutiva) de la inteligencia artificial.