Resumo Técnico: Avaliação de Prontidão de IA em Nível de Tarefa para Gestão de Processos de Negócio

1. Declaração do Problema

As atuais estruturas de Gestão de Processos de Negócio (BPM), como BPMN 2.0, operam no nível de atividade, tratando atividades como nós folha atômicos. No entanto, conforme observado por Brynjolfsson e Mitchell [1], as ocupações são conjuntos heterogêneos de tarefas. Pesquisas recentes (por exemplo, Dell'Acqua et al. [5]) identificam uma "fronteira tecnológica irregular" onde agentes de Modelo de Linguagem Grande (LLM) podem se destacar em subtarefas específicas dentro de uma atividade, enquanto falham em tarefas adjacentes.

Os métodos de avaliação existentes sofrem de três limitações principais no contexto da implantação de agentes LLM:

1. Granularidade: Avaliações em nível de atividade mascaram a heterogeneidade intra-atividade, levando a pontuações moderadas enganosas que não distinguem entre subtarefas altamente automatizáveis e aquelas irreduzivelmente humanas.
2. Integração de Governança: Em indústrias regulamentadas (por exemplo, serviços financeiros), as restrições de conformidade são limites rígidos. Os modelos atuais carecem da expressividade estrutural para codificar essas restrições como partes integrantes da definição da tarefa, em vez de anotações externas.
3. Orientação de Implantação: Estruturas existentes (por exemplo, Frey e Osborne [6]; Autor et al. [7]) frequentemente fornecem classificações binárias ou em nível de ocupação que não se traduzem em estratégias de implantação acionáveis e faseadas para tarefas específicas.

O artigo aborda a necessidade de uma estrutura de formalização e avaliação quantitativa em nível de tarefa que integre restrições de governança e mapeie diretamente para a engenharia de prompts de agentes.

2. Metodologia e Estrutura

A pesquisa segue o paradigma de Pesquisa em Ciência de Design (DSR), desenvolvendo e avaliando dois artefatos principais dentro da metodologia PARTIS (Processo–Atividade–Função–Tarefa–Instituição–Padrão). O PARTIS fundamenta-se na ontologia Bunge–Wand–Weber (BWW) e estrutura-se em torno de dois ciclos complementares:

• Fluxo de Execução (P→A→R→T): Decompõe processos em atividades, atribuídas a funções, executando tarefas específicas.
• Fluxo de Governança (T→I→S→P): Tarefas são restringidas por Instituições (leis regulatórias), codificadas em Padrões (normas operacionais), que regulam os Processos pais.

2.1 Artefato 1: T-IPO (Modelo de Atomização de Tarefas)

O T-IPO aborda a lacuna de granularidade decompondo atividades em tarefas definidas como uma tupla de oito elementos:
$$\tau = (Id, Nome, Função, Entrada, Lógica, Saída, Restrição, Dependência)$$

• Lógica: Inclui etapas, ferramentas, um nível da Taxonomia de Bloom (1–6) e um atributo de Determinismo (Determinístico, Probabilístico, Heurístico).
• Restrição: Restrições tipificadas (Tempo, Autenticação, Qualidade, Auditoria) derivadas das dimensões Instituição e Padrão.
• Regras de Limite: O modelo impõe execução de função única, homogeneidade de nível Bloom, saídas observáveis com uma Definição de Pronto (DoD) e dependências mínimas de Grafo Acíclico Direcionado (DAG).
• Mapeamento: A tupla de oito elementos mapeia diretamente para uma arquitetura de prompt de agente de quatro seções (Prompt do Sistema, Contexto, Instrução, Formato/Regras de Proteção), transformando a engenharia de prompts de "escrita criativa" para "preenchimento estruturado".

2.2 Artefato 2: LARA (Avaliação de Prontidão de Agentes LLM)

O LARA é uma rubrica de pontuação de cinco dimensões projetada para avaliar a prontidão de uma tarefa para substituição por agente. As dimensões são:

1. D1: Complexidade Cognitiva (Ancorada na Taxonomia de Bloom).
2. D2: Dependência de Dados (Estruturada vs. não estruturada/tempo real).
3. D3: Diversidade de Interação (Independente vs. negociação interorganizacional).
4. D4: Sensibilidade de Conformidade (Risco de responsabilidade legal; Ponderado 1,5×).
5. D5: Requisito de Inovação (Baseado em modelos vs. originalidade inovadora).

Ponderação e Calibração:
Os pesos foram derivados por meio de um estudo Delphi de três rodadas com 12 especialistas e validados cruzadamente usando o Processo Analítico Hierárquico (AHP). A Sensibilidade de Conformidade (D4) recebeu um peso de 1,5× (0,300 vs. 0,200 para os outros) devido à natureza fortemente regulamentada do domínio de serviços financeiros.

Pontuação e Classificação:
As tarefas são pontuadas em uma escala de média ponderada [1,0, 5,0] e classificadas em quatro níveis:

• L1 (1,0–2,0): Alta substituição (Agente completo + verificação pontual).
• L2 (2,1–3,0): Augmentação assistiva (Rascunho do agente + aprovação humana).
• L3 (3,1–4,0): Assistência seletiva (Liderança humana + copiloto de agente).
• L4 (4,1–5,0): Dominância humana (Execução totalmente humana).

Restrições Críticas:

• Regra de Piso D4: Se uma tarefa tiver uma pontuação D4 $\ge$ 4 (máxima sensibilidade de conformidade), ela é automaticamente classificada como pelo menos L3, independentemente da média ponderada. Isso impede que riscos de alta conformidade sejam mascarados por baixa complexidade cognitiva.
• LARA-TCA: Um procedimento de recalibração é definido para atualizar pontuações e limites à medida que as capacidades dos LLM evoluem ou as regulamentações mudam.

3. Validação Empírica

O estudo foi conduzido principalmente em uma empresa de valores mobiliários chinesa de médio porte (Empresa-A), envolvendo 127 tarefas em cinco domínios de operações de TI (Gestão de Projetos, Requisitos, Arquitetura, Testes, Configuração).

3.1 Confiabilidade e Robustez

• Confiabilidade Interavaliadores: O $\kappa$ de Fleiss atingiu 0,80 (Bootstrap 95% IC [0,72, 0,87]) entre três arquitetos seniores.
• Replicação Interorganizacional: A replicação em três instituições adicionais (Banco, Seguros, Fintech) resultou em um $\kappa$ médio ponderado de 0,73.
• Estabilidade de Decomposição: Duas equipes independentes decompondo o mesmo domínio alcançaram 85% de sobreposição semântica e $\kappa = 0,82$ nos níveis LARA.

3.2 Utilidade Preditiva e Implantação Piloto

• Experimento de Comparação: Uma comparação controlada entre avaliação em nível de atividade (Grupo A) e avaliação em nível de tarefa T-IPO/LARA (Grupo B) mostrou precisão preditiva aprimorada. O Grupo B alcançou 100% de precisão preditiva para tarefas L1 nos domínios piloto, comparado a 67–73% para o Grupo A. O estudo nota uma assimetria de treinamento, mas argumenta que a melhoria residual é praticamente significativa.
• Implantação Piloto: 120 instâncias de tarefa (6 tarefas L1) foram implantadas em um ambiente de teste (sandbox).
  • Autocompletar L1: 95% (114/120).
  • Qualidade do Rascunho L2: ~70%.
  • Sugestões Úteis L3: ~40%.
  • Observou-se um decaimento monótono no desempenho de L1 para L3 ($p < 0,001$).
• Análise de Falhas: As falhas foram atribuídas a anomalias de dados legados (problemas de codificação) e violações de casos extremos de DoD, confirmando que L1 é um "candidato à implantação" que requer validação piloto, não uma garantia.

3.3 Validade Estrutural

A Análise Fatorial Exploratória (EFA) nas 127 tarefas revelou uma estrutura de dois fatores explicando 64% da variância:

1. Complexidade Tarefa-Cognitiva (Carga em D1, D5, D3, D2).
2. Restrição de Conformidade (Carga em D4).
   Isso suporta a proposição de que a prontidão de IA em nível de tarefa é determinada conjuntamente pela complexidade de execução e pela intensidade de governança.

4. Principais Contribuições

1. Granularidade em Nível de Tarefa: Introduz o T-IPO, um método formal para decompor atividades em tarefas atômicas com restrições OCL, empurrando a modelagem BPM abaixo do nível de atividade.
2. Avaliação Integrada à Governança: O LARA integra a sensibilidade de conformidade como uma dimensão ponderada e não compensatória, indo além de verificações binárias "conforme/não conforme" para uma avaliação de prontidão graduada.
3. Ponte de Engenharia de Prompts: O mapeamento T-IPO-para-prompt fornece um mecanismo estruturado para gerar prompts de agentes diretamente a partir de modelos de processo.
4. Governança Dinâmica: O procedimento LARA-TCA estabelece um mecanismo para recalibração periódica da rubrica à medida que a tecnologia e as regulamentações evoluem.
5. Teoria de Design Nascente: Propõe uma teoria de "Dupla Determinação" (Proposição 1) onde a prontidão de IA é uma função tanto da complexidade de execução cognitiva quanto da intensidade de conformidade governamental.

5. Significado e Alegações

O artigo afirma fornecer contribuições de Nível 2 (teoria de design nascente) para a literatura de BPM e IA. Seu significado reside em:

• Operacionalização da "Fronteira Irregular": Fornecer uma ferramenta concreta para identificar quais subtarefas específicas dentro de uma atividade são automatizáveis, em vez de fazer declarações genéricas sobre atividades inteiras.
• Segurança Regulatória: A Regra de Piso D4 operacionaliza o princípio de que, em indústrias regulamentadas, a governança é uma restrição rígida que não pode ser trocada por eficiência.
• Implantação Acionável: A classificação de quatro níveis (L1–L4) mapeia diretamente para modos de implantação específicos (por exemplo, agente completo vs. liderança humana), oferecendo um caminho para adoção faseada.

Os autores permanecem modestos quanto à generalização, observando que a validação empírica é específica para operações de TI de serviços financeiros. Eles afirmam explicitamente que a aplicação do LARA a outras indústrias (por exemplo, agências criativas) requer recalibrar o vetor de pesos (W) e as âncoras de Bloom, e que a precisão de 100% no experimento de comparação reflete um efeito de teto do tamanho amostral pequeno. Trabalhos futuros são direcionados para Análise Fatorial Confirmatória (CFA) com amostras interindustriais e estudos de reprodutibilidade multi-domínio.