Can LLMs Understand the Impact of Trauma? Costs and Benefits of LLMs Coding the Interviews of Firearm Violence Survivors

Título: ¿Pueden los LLMs comprender el impacto del trauma? Costos y beneficios de los LLMs en la codificación de entrevistas de sobrevivientes de violencia con armas de fuego.

1. Planteamiento del Problema

La violencia por armas de fuego es una crisis de salud pública que afecta desproporcionadamente a los hombres negros en Estados Unidos. La investigación cualitativa (entrevistas en profundidad) es fundamental para entender las experiencias vividas de los sobrevivientes y diseñar intervenciones efectivas. Sin embargo, el análisis manual de estos datos mediante análisis temático e inducción de códigos es extremadamente laborioso y costoso en tiempo.

A pesar del auge de los Modelos de Lenguaje Grande (LLMs) y su integración en plataformas de investigación cualitativa, existe una brecha crítica:

• Falta de validación: No se ha demostrado que los LLMs puedan caracterizar eficazmente las experiencias de comunidades minoritarias vulnerables, especialmente hombres jóvenes negros sobrevivientes de violencia.
• Sesgos y recursos: Los modelos existentes suelen ser de código cerrado, costosos computacionalmente y propensos a alucinaciones y sesgos raciales (especialmente contra el Inglés Africano Americano - AAE).
• Restricciones de financiación: La investigación sobre violencia con armas de fuego ha sufrido desinversión histórica, limitando la capacidad de integrar nuevas tecnologías como los LLMs en este campo.

2. Metodología

Los autores desarrollaron una tubería (pipeline) de codificación automática utilizando modelos de código abierto para evaluar su eficacia frente a codificadores humanos.

• Datos: Se utilizaron 21 entrevistas semiestructuradas (transcritas manualmente) con hombres negros sobrevivientes de violencia por armas de fuego en el área metropolitana de DC (recolectadas entre 2013-2015).
• Codificación Humana (HC - Ground Truth): Tres codificadoras humanas (mujeres negras) aplicaron un análisis temático inductivo siguiendo la teoría fundamentada. Identificaron 41 códigos iniciales y 11 códigos formales tras la revisión y fusión.
• Codificación de Máquina (MC):
  • Modelos: Se utilizaron modelos de código abierto de Llama: Llama-3.2-1B (1B parámetros) y Llama-3.1-8B (8B parámetros).
  • Procesamiento de Datos: Las entrevistas se dividieron en fragmentos ("chunks") de hasta 256 tokens. Se probaron tres estrategias: texto completo, "chunks pareados" (pregunta-respuesta) y "chunks de pregunta".
  • Generación de Códigos: Se utilizaron prompts de cero disparos (zero-shot) asignando al modelo una identidad específica ("antropólogo de estudios afroamericanos") y un contexto.
  • Post-procesamiento: Los códigos iniciales generados por el LLM se agruparon utilizando BERTopic para crear "códigos formales" interpretables, imitando el proceso humano de consolidación.
• Métricas de Evaluación:
  • Porcentaje Capturado (Percent Captured): Porcentaje de códigos humanos formales que fueron identificados por la máquina (similar a la recall).
  • Porcentaje Relevante (Percent Relevant): Porcentaje de códigos generados por la máquina que coinciden semánticamente con los códigos humanos (similar a la precisión).
  • Se utilizó similitud de coseno (con el modelo all-mpnet-base-v2) para determinar coincidencias (umbral > 0.6).

3. Contribuciones Clave

• Evaluación de recursos limitados: Demostraron que modelos pequeños y accesibles (como Llama 1B) pueden ejecutarse en hardware de bajo costo (ej. 6GB VRAM) para investigación cualitativa, lo cual es vital para comunidades marginadas.
• Análisis de la "Borrado Narrativo": Identificaron que las medidas de seguridad (guardrails) de los LLMs provocan un rechazo sistemático de contenido relacionado con trauma, violencia gráfica y lenguaje AAE, eliminando hasta un 65% de las experiencias narrativas de los sujetos.
• Comparativa Humano vs. Máquina: Proporcionaron una evaluación rigurosa que contrasta la velocidad de la automatización con la precisión y sensibilidad cultural de los codificadores humanos en un contexto de alta vulnerabilidad.

4. Resultados

• Rendimiento General:
  • La captura de códigos fue inconsistente. Aunque los mejores experimentos capturaron el 100% de los códigos humanos iniciales, el promedio general fue bajo (71% para códigos iniciales, cayendo al 36% para códigos formales tras el agrupamiento).
  • La relevancia fue consistentemente baja (promedio del 10% para códigos iniciales y 28% para formales), indicando que la mayoría de los códigos generados por la máquina no coincidían con los temas humanos.
• Impacto del Tamaño del Modelo:
  • Llama 8B superó ligeramente a Llama 1B en relevancia (2.6% más), pero no en captura.
  • Llama 1B fue más rápido y barato, pero mostró una mayor tendencia a obsesionarse con características lingüísticas no estándar del AAE (como el uso de palabras específicas) en lugar de los temas de contenido, generando códigos sin justificación semántica.
• Efecto del Agrupamiento (Clustering):
  • El uso de BERTopic redujo drásticamente el número de códigos (de miles a <60), haciéndolos legibles. Sin embargo, disminuyó la alineación con los códigos humanos. El agrupamiento a menudo fusionó temas semánticamente distintos o asignó nombres de temas que no reflejaban el contenido real de los fragmentos.
• Rechazos (Refusals):
  • Un 44% de las solicitudes de generación fueron rechazadas por el LLM.
  • Las razones principales fueron la descripción gráfica de la violencia, temas sexuales y el uso de lenguaje AAE (incluyendo la palabra "n***a"), incluso cuando el contexto era académico y no ofensivo. Esto resultó en la omisión de datos cruciales sobre trauma y comportamiento de riesgo.
• Hallucinaciones: Los códigos nuevos generados por la máquina a menudo carecían de justificación en el texto fuente (ej. inferir "afiliación a pandillas" cuando el texto solo hablaba de peleas), lo que indica alucinaciones o lecturas entre líneas incorrectas.

5. Significado y Conclusión

El estudio concluye que, aunque los LLMs de código abierto ofrecen un potencial prometedor para acelerar la investigación cualitativa en comunidades con pocos recursos, actualmente no son fiables para codificar automáticamente las experiencias de sobrevivientes de violencia con armas de fuego sin intervención humana significativa.

• Riesgos Éticos: La automatización total conlleva un riesgo grave de "borrado narrativo" debido a los sesgos en los guardrails de los modelos, que silencian las voces de las comunidades marginadas al rechazar sus relatos de trauma y su lenguaje cultural.
• Calidad vs. Velocidad: El tiempo ahorrado en la generación inicial de códigos se pierde rápidamente en la validación y corrección de los errores, alucinaciones y sesgos del modelo.
• Recomendación: Se necesitan mejoras sustanciales en los LLMs para que sean culturalmente competentes y menos propensos a sesgos antes de que puedan utilizarse como herramientas autónomas en investigación con poblaciones vulnerables. Por ahora, los LLMs pueden servir como herramientas de apoyo (asistencia) bajo estricta supervisión humana, pero no como reemplazos de la codificación humana en este contexto específico.

En resumen, el papel advierte contra la implementación precipitada de IA en investigación social sensible, destacando que la eficiencia computacional no debe priorizarse sobre la precisión ética y la integridad de las narrativas de las comunidades marginadas.