Resumen Técnico: Optimización con Base en la Realidad para Reducir las Alucinaciones de los LLM en la Reescritura Automatizada de Documentos Personales

1. Planteamiento del Problema

La aplicación de Modelos de Lenguaje Extensos (LLM) para la optimización de currículums para Sistemas de Seguimiento de Candidatos (ATS) introduce riesgos de alucinación específicos que son distintos de la generación de texto general. A diferencia de los chatbots donde los usuarios pueden verificar los resultados de forma interactiva, la optimización de currículums suele operar en modo por lotes con una revisión humana mínima. Los autores identifican cuatro modos de fallo distintos que conllevan consecuencias concretas, tales como la descalificación o el despido del candidato:

1. Fabricación Temporal (H1): La inyección de tecnologías que no existían durante el periodo de empleo declarado por el candidato (p. ej., citar LangChain en un rol de 2018).
2. Contaminación de Dominio Cruzado (H2): La introducción de terminología de ecosistemas tecnológicos que no están presentes en el rol original (p. ej., añadir servicios de Azure a un rol que es solo de AWS) para coincidir con las palabras clave de la descripción del puesto.
3. Mutación Estructural (H3): La fusión, eliminación o condensación silenciosa de puntos de viñeta (bullet points), lo que elimina logros genuinos bajo la apariencia de "optimización".
4. Fabricación de Contenido (H4): La invención de nombres de empresas, la inflación de métricas o la adición de certificaciones no obtenidas.

La verdad fundamental en este dominio es la propia trayectoria profesional del candidato, la cual el LLM debe mejorar sin distorsionarla.

2. Metodología: El Marco de Optimización Basado en la Realidad (Grounded Optimization)

Los autores proponen Optimización Basada en la Realidad, un marco de defensa en profundidad de cinco capas implementado como un sistema multi-agente en LangGraph. El sistema procesa los currículums a través de agentes especializados (Resumen, Habilidades, Experiencia, Proyectos, Educación), siendo el Agente de Experiencia el que recibe el stack de defensa completo. Las capas operan en una secuencia específica: Capa 4 (Inyección de Prompt) → Llamada al LLM → Capas 1–3 (Validación de Salida) → Capa 5 (Puerta de Evaluación).

Capa 1: Validación de Contexto Temporal

Esta capa evita la inyección anacrónica de tecnología mediante la construcción de una línea de tiempo por cada currículum. Incrusta un mapeo curado de fechas de lanzamiento de tecnología (p. ej., LangChain → 2022) en los prompts de los agentes. Se le instruye al LLM para que verifique que cualquier tecnología mencionada en un rol específico existía durante el periodo de dicho rol.

Capa 2: Detección de Contaminación de Dominio Cruzado

Para abordar la filtración de dominios cruzados, los autores emplean un mecanismo totalmente determinista y libre de LLM. Construyeron una taxonomía de 257 servicios de nube a través de los stacks de AWS, GCP, Azure y On-Premise. La detección utiliza un sistema de coincidencia de expresiones regulares de dos niveles basado en límites de palabras:

• Nivel 1: Atribuye un proveedor basándose en una coincidencia de palabra clave explícita única.
• Nivel 2: Requiere $\ge$2 coincidencias de nombres de servicio para resolver la ambigüedad (p. ej., distinguir "lambda" como AWS Lambda frente a una palabra clave de Python).
  El sistema compara la firma de la nube de un rol antes y después de la optimización. Si se detectan nuevos proveedores, la salida se revierte y se inyecta una advertencia para un reintento.

Capa 3: Aplicación de Invariantes Estructurales

Esta capa aborda la mutación estructural mediante el conteo de unidades semánticas antes y después de la optimización. Valida que el número de entradas de experiencia ($|E'| \ge |E|$) y los puntos de viñeta por entrada ($|b'_i| \ge |b_i| - 1$) se mantengan dentro de una tolerancia. Una pérdida significativa de contenido activa un reintento con objetivos estructurales explícitos.

Capa 4: Anclaje de Contenido a Nivel de Prompt

Esta es la primera línea de defensa, incrustando reglas de inmutabilidad explícitas directamente en los prompts de los agentes. Las restricciones incluyen:

• Preservar el número exacto de puntos de viñeta.
• Prohibir la adición o modificación de detalles educativos.
• Prevenir la creación de nuevas empresas o el uso de marcadores de posición (placeholders).
• Asegurar que las métricas sigan siendo realistas para el periodo de tiempo.

Capa 5: Puerta de Control de Calidad del Agente Evaluador

Una instancia de LLM independiente actúa como un agente de control de calidad adversarial. Recibe el currículum original, la versión reescrita y la descripción del puesto objetivo. Devuelve una decisión de aceptación binaria y retroalimentación. Si el evaluador rechaza la salida, la retroalimentación se inyecta en el siguiente intento de reescritura. Si el evaluador falla (tiempo de espera agotado/salida malformada), por defecto opta por el rechazo para evitar la aceptación silenciosa de alucinaciones.

Mecanismo de Respaldo (Fallback)

Si la validación falla tras tres ciclos de reintento, el sistema emplea un mecanismo de fusión de respaldo determinista que combina la mejor salida del LLM con el contenido original preservado para asegurar que no se pierda ningún dato original.

3. Contribuciones Clave

1. Taxonomía de Alucinaciones: Una clasificación de cuatro modos específicos de alucinación (Temporal, Dominio Cruzado, Estructural, Contenido) únicos para la optimización de documentos personales.
2. Marco de Cinco Capas: Un sistema multi-agente funcional que combina validación determinista, ingeniería de prompts y verificación adversarial.
3. Detector de Contaminación Determinista: Una herramienta basada en regex que cubre 257 servicios de nube con puntuación de confianza de dos niveles, diseñada para evitar la introducción de una segunda superficie de alucinación de LLM.
4. Estudio de Ablación y Sensibilidad: Una evaluación a través de 16 condiciones experimentales (3 LLMs, 4 temperaturas, 6 configuraciones de capas, 680 invocaciones de LLM) que caracteriza la contribución de cada capa.

4. Resultados Experimentales

El marco fue evaluado en 25 currículums sintéticos que abarcan 14 industrias y 42 roles.

• Rendimiento de la Línea Base: Las líneas base sin defensa produjeron entre 2.48 y 5.36 alucinaciones detectadas por currículum, siendo la Contaminación de Dominio Cruzado (H2) el modo de fallo dominante (79–89% de los incidentes).
• Estudio de Ablación (GPT-4.1-nano, t=0):
  • Anclaje a Nivel de Prompt (L4) por sí solo: Logró 0.00 alucinaciones detectadas en esta configuración específica.
  • Marco Completo: Logró una tasa de 0.12 (0.04 al excluir falsos positivos probables en H4).
  • El estudio señaló que el rendimiento de L4 por sí solo no se generalizaba a modelos más débiles o temperaturas más altas.
• Generalización Multi-Modelo:
  • Modelos menos capaces (GPT-4o-mini, Llama-3.1-8B) produjeron de 2 a 4 veces más alucinaciones en la línea base.
  • El marco completo redujo las tasas de alucinaciones detectadas en un 95.2% – 99.3% en todos los modelos probados.
• Sensibilidad a la Temperatura:
  • A medida que la temperatura aumentó de 0.0 a 1.0, la tasa de alucinación residual bajo el Marco Completo aumentó de 0.12 a 0.24.
  • Este aumento fue impulsado casi enteramente por los residuales Temporales (H1), lo que sugiere que el cumplimiento del prompt se debilita con una mayor estocasticidad, lo que hace necesarios los niveles deterministas (L1–L3) como complemento en lugar de un reemplazo para el anclaje de prompts.

5. Significación y Limitaciones

Significación:
El artículo argumenta que, si bien la ingeniería de prompts es efectiva bajo condiciones ideales (modelos fuertes, temperatura baja), es insuficiente para sistemas de producción robustos. Las capas deterministas (L1–L3) proporcionan un valor crítico precisamente donde el cumplimiento del prompt es más débil (temperatura alta, modelos más débiles). El trabajo caracteriza los modos de fallo específicos de la optimización de documentos personales y proporciona un enfoque sistemático y por capas para mitigar estas alucinaciones sin depender únicamente de bases de conocimiento externas.

Limitaciones:
Los autores señalan explícitamente varias restricciones:

• Acoplamiento Detector-Defensa de H2: El detector de H2 y la defensa de la Capa 2 comparten la misma función subyacente. En consecuencia, los recuentos de H2 en configuraciones donde la Capa 2 está activa son mecánicamente cero por construcción y no pueden interpretarse como mediciones empíricas independientes de la eliminación.
• Conjunto de Datos: La evaluación se basa en 25 currículums sintéticos y una taxonomía de 257 servicios, lo que puede omitir distribuciones del mundo real y plataformas de larga cola (p. ej., Salesforce, SAP).
• Alcance del Detector: Los detectores son específicos para la tarea y no se comparan con benchmarks generales de alucinación como SelfCheckGPT o FActScore.
• Magnitud: El marco detecta la presencia de alucinaciones, pero no necesariamente la magnitud de la fabricación.

Los autores concluyen que el trabajo futuro debería priorizar un evaluador basado en NLI independiente para la contaminación de dominio cruzado y la anotación humana en currículums reales.