Counsellor review of artificial intelligence recommendations improves feasibility adjusted career fit and reduces socioeconomic disparity

Resumo Técnico: Revisão de Conselheiro sobre Recomendações de Inteligência Artificial

Definição do Problema
À medida que a inteligência artificial (IA) media cada vez mais as transições da escola para o trabalho, sistemas de recomendação estão sendo implementados para orientar as decisões educacionais e de carreira dos estudantes. A avaliação atual desses sistemas baseia-se fortemente na precisão preditiva e na aceitação do usuário. No entanto, esse foco negligencia dimensões críticas para um futuro do trabalho inclusivo: quem se beneficia em diferentes posições socioeconômicas, se as recomendações são praticamente viáveis para o estudante e como a orientação afeta a agência do estudante. O artigo identifica três "pontos cegos" na orientação de carreira por IA atual:

1. Viabilidade: As recomendações podem alinhar-se aos interesses e habilidades, mas permanecer praticamente inapraticáveis devido a restrições financeiras, geográficas ou sociais (fatores de conversão) que os modelos frequentemente ignoram.
2. Distribuição: Melhorias médias na qualidade da recomendação podem coexistir com o alargamento das lacunas socioeconômicas.
3. Agência: Tratar a orientação como um problema de pura predição abstrai o contexto social, podendo deprimir a autoeficácia do estudante ou induzir uma deferência acrítica aos algoritmos.

A questão central de pesquisa é: Quando a IA recomenda carreiras aos estudantes, quem se beneficia em diferentes posições socioeconômicas e a adição de explicação ou supervisão humana altera a resposta?

Metodologia
O estudo emprega uma abordagem de duas frentes, combinando uma simulação de política transparente com um experimento de campo randomizado.

• Estudo 1: Simulação de Política Transparente

  • Design: Uma simulação de 20.000 perfis de estudantes variando em interesses, habilidade latente e status socioeconômico (SSE).
  • Variáveis: O modelo incorpora "fatores de conversão" (capacidade financeira, mobilidade) que determinam se um caminho é viável.
  • Políticas Testadas: Cinco políticas de orientação foram comparadas em cenários de linha de base, boom tecnológico e recessão do mercado de trabalho:
    1. Orientação convencional (heurísticas de conselheiros).
    2. IA otimizada para precisão (maximiza o ajuste previsto, ignora a viabilidade).
    3. IA com restrição de paridade demográfica (equaliza o acesso a carreiras de alta oportunidade).
    4. IA consciente de restrições (otimiza ajuste $\times$ viabilidade).
    5. IA com humano no circuito (human-in-the-loop) (conselheiro revisa a lista de seleção da IA).
  • Resultado: Ajuste de Viabilidade Corrigido (FAF - Feasibility-Adjusted Fit), definido como o alinhamento entre a recomendação e os atributos do estudante, ajustado pela capacidade prática.

• Estudo 2: Experimento Randomizado

  • Participantes: 987 estudantes do ensino secundário e universitário em 14 instituições na Índia.
  • Design: Um experimento entre sujeitos de quatro braços:
    1. Orientação apenas por conselheiro.
    2. Orientação apenas por IA (sem justificativa).
    3. Orientação por IA explicável (justificativa + declaração de incerteza).
    4. IA + Revisão de Conselheiro (o conselheiro revisa o resultado da IA e pode modificar/substituir as recomendações com base na viabilidade).
  • Medidas: O desfecho primário foi o Percepção de Ajuste de Viabilidade Corrigido (FAF). Os desfechos secundários incluíram clareza de decisão, agência, consciência de incerteza, deferência algorítmica, confiança e percepção de justiça.
  • Análise: Modelos lineares mistos com interceptos aleatórios por instituição e wild-cluster bootstrap para efeitos de interação socioeconômica.

Principais Resultados

• Estudo 1 (Simulação):

  • Precisão vs. Benefício: A IA otimizada para precisão alcançou o maior ajuste não ajustado, mas o menor FAF médio simulado, pois direcionou muitos estudantes do quintil inferior para caminhos inviáveis (taxa de inviabilidade de 51,2% para o quintil inferior).
  • Limitações da Paridade: Restrições de paridade demográfica equalizaram o acesso a recomendações de alta oportunidade, mas falharam em melhorar os resultados; a inviabilidade do quintil inferior aumentou para 53,6%.
  • Informação de Viabilidade: A IA consciente de restrições e a revisão com Humano no Circuito alcançaram o maior FAF e as menores taxas de inviabilidade. No entanto, políticas informadas pela viabilidade também "direcionaram" estudantes com restrições para longe de setores de alta oportunidade quase inteiramente (ex: apenas 3,1% de acesso para o quintil inferior sob a IA consciente de restrições), sugerindo um risco de "conservadorismo aspiracional" ou circunscrição do sistema.

• Estudo 2 (Experimento):

  • Percepção de FAF: A condição IA + Revisão de Conselheiro produziu o maior FAF percebido ($d = 0,52$ vs. IA apenas) e a menor disparidade socioeconômica. Estudantes do quintil inferior no braço de revisão relataram o maior FAF percebido de qualquer grupo do quintil inferior ($M = 4,77$ contra $3,97$ sob IA apenas).
  • Agência e Deferência: A orientação apenas por IA reduziu significativamente a agência relatada e a consciência de incerteza, enquanto elevou a deferência algorítmica ($d = 1,20$ vs. apenas conselheiro). A revisão do conselheiro restaurou totalmente a agência relatada.
  • Explicação: A IA explicável melhorou a consciência de incerteza e reduziu a deferência em comparação com a IA apenas, mas não igualou os ganhos de FAF da condição de revisão.
  • Equidade: O gradiente socioeconômico na percepção de FAF foi mais acentuado sob orientação apenas por IA e mais plano sob IA + Revisão de Conselheiro. A supervisão humana não redistribuiu benefícios para longe dos estudantes favorecidos, mas estendeu os benefícios aos estudantes desfavorecidos que o sistema sem revisão lhes negava.

Principais Contribuições

1. Redefinição de Métricas de Avaliação: O artigo argumenta que a IA de orientação de carreira deve ser avaliada com base no ajuste de viabilidade corrigido, equidade, incerteza calibrada e preservação da agência, em vez de apenas precisão preditiva.
2. O Papel dos Fatores de Conversão: Demonstra que a principal falha da orientação otimizada para precisão é a omissão de "fatores de conversão" (recursos e restrições) do espaço de características. O valor da supervisão humana reside não em uma habilidade estatística superior, mas em possuir e aplicar este conhecimento contextual.
3. O Dilema "Viabilidade-Aspiração": O estudo identifica uma tensão crítica: designs conscientes da viabilidade reduzem conselhos inviáveis, mas correm o risco de institucionalizar expectativas conservadoras, potencialmente estreitando as aspirações dos estudantes mais restritos, a menos que sejam acompanhados de suporte de expansão de capacidades (ex: bolsas de estudo, auxílio de mobilidade).
4. Eficácia do Humano no Circuito: Fornece evidências empíricas de que a revisão do conselheiro das recomendações de IA melhora o ajuste percebido, reduz disparidades socioeconômicas e restaura a agência do estudante, atuando como um mecanismo para redistribuir os benefícios percebidos da IA.

Significância e Alegações
O artigo afirma que a orientação de carreira assistida por IA deve ser vista como infraestrutura para uma transição justa da escola para o trabalho. O autor argumenta que:

• A precisão é insuficiente: Sistemas otimizados apenas para o ajuste preditivo podem desfavorecer sistematicamente estudantes com restrições ao recomendar caminhos inviáveis.
• A supervisão é redistributiva: A revisão humana não apenas corrige erros; ela expande ativamente a "liberdade real" (no sentido do Abordagem das Capacidades) dos estudantes desfavorecidos, tornando os caminhos de alta oportunidade perceptíveis como alcançáveis e evitando o fechamento prematuro das aspirações.
• Implicações de Design: Para evitar o risco de "conservadorismo aspiracional", a orientação consciente da viabilidade deve ser acompanhada de respostas de expansão de capacidade. O estudo sugere que a revisão do conselheiro pode multiplicar a capacidade limitada de aconselhamento (ao revisar listas de seleção da IA em vez de lidar com toda a carga de casos) enquanto preserva a responsabilidade e o conhecimento contextual necessários para resultados equitativos.

O autor conclui que, embora os achados sejam específicos ao contexto indiano (um local de escassez aguda de conselheiros e rápida adoção de IA), os mecanismos — recomendação cega à restrição, viabilidade graduada por SSE e deferência algorítmica — são generalizáveis para outras economias com transições escola-trabalho estratificadas.